[論文レビュー] Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey

Xiaokai Wei, Shen Wang+3 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling参考文献 110被引用数 25

ひとこと要約

知識強化事前学習言語モデル（KE-PLMs）の包括的な調査で、知識源、粒度、および応用の3つの分類を提示し、方法、データセット、応用、課題、および将来の方向性について議論する。

ABSTRACT

Pretrained Language Models (PLM) have established a new paradigm through learning informative contextualized representations on large-scale text corpus. This new paradigm has revolutionized the entire field of natural language processing, and set the new state-of-the-art performance for a wide variety of NLP tasks. However, though PLMs could store certain knowledge/facts from training corpus, their knowledge awareness is still far from satisfactory. To address this issue, integrating knowledge into PLMs have recently become a very active research area and a variety of approaches have been developed. In this paper, we provide a comprehensive survey of the literature on this emerging and fast-growing field - Knowledge Enhanced Pretrained Language Models (KE-PLMs). We introduce three taxonomies to categorize existing work. Besides, we also survey the various NLU and NLG applications on which KE-PLM has demonstrated superior performance over vanilla PLMs. Finally, we discuss challenges that face KE-PLMs and also promising directions for future research.

研究の動機と目的

• 知識認識の限界に対処するため、事前学習言語モデルへ知識を統合する研究を喚起する。
• 知識源・粒度・応用に基づくKE-PLMsの体系的分類を提供する。
• NLUおよびNLGタスクにおける影響力のある手法・目的・データセットを調査する。
• 課題を論じ、将来のKE-PLM研究の有望な方向性を提案する。

提案手法

• 知識源、粒度、応用によってKE-PLMsを分類する3つの分類法を導入する。
• カテゴリ（言語的、百科事典的、常識、ドメイン特化）全体の代表的手法と知識統合戦略を概観する。
• KE-PLMsのNLUおよびNLGタスクにおける性能を示すデータセットと応用を要約する。
• 方法と特徴の統合表を用いてアプローチを比較する。

実験結果

リサーチクエスチョン

• RQ1 KE-PLMsの構築に用いられた知識源は何か（言語的、百科事典的、常識、ドメイン特化）？
• RQ2 KE-PLMsにおける異なる粒度（テキストチャンク、エンティティ、リレーション、サブグラフ）でどのように知識が組み込まれているか？
• RQ3 KE-PLMsの恩恵を受けるNLPタスクと応用は何か、またこの利得を示すベンチマーク/データセットは何か？
• RQ4 KE-PLMsの主な課題と将来の方向性（効率性、ノイズ耐性、知識選択など）は何か？

主な発見

• KE-PLMsは多様な知識源（言語的、百科事典的、常識、ドメイン特化）を統合し、通常のPLMsを超えた知識認識を強化する。
• 知識は複数の粒度で活用され、テキストチャンク、エンティティレベルの手がかり、関係三重項、サブグラフなどに対応するモデリング手法が用いられる。
• KE-PLMsはエンティティ型指定、関係分類、QA、常識推論、テキスト生成など、NLUおよびNLGタスクの多様な領域で性能向上を示す。
• KE-PLMsを評価するために、LAMA、コモンセンスQA、KG関連タスクなどの多様なデータセットとベンチマークが用いられ、幅広い適用性を示している。
• 本調査は効率性、ノイズ、データ品質といった課題を指摘し、将来の研究方向としてより広い応用、より多くの知識源、頑健な学習、スケーラブルな推論を挙げている。