[論文レビュー] A Survey on Knowledge-Enhanced Pre-trained Language Models

Chaoqi Zhen, Yanlei Shang+4 more|arXiv (Cornell University)|Dec 27, 2022

Topic Modeling被引用数 5

ひとこと要約

本サーベイは、知識拡張型事前学習言語モデル（KEPLMs）について包括的かつ最新の概要を提供し、知識の種別、統合手法（暗黙的および明示的）、評価指標、下流の応用、今後の研究方向性を体系的に分析している。外部知識がPLMの解釈可能性、推論能力、耐性を向上させることを強調しており、特に知識集約的NLPタスクにおいて顕著である。

ABSTRACT

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, extit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.

研究の動機と目的

• NLP分野の研究者を対象に、知識拡張型事前学習言語モデル（KEPLMs）について体系的かつ最新のサーベイを提供すること。
• KEPLMsで用いられる知識の一般的な種別と形式（例：常識的知識、ドメイン特化型知識、構造化知識）を特定・分類すること。
• 暗黙的および明示的知識統合手法（例：知識誘導型マスキング、事前学習タスク、入力挿入、統合モジュール、外部メモリ検索）の設計と有効性を分析・比較すること。
• 知識の習得、効率性、タスク間一般化の観点から、KEPLMのパフォーマンスを評価する指標を用いて評価すること。
• 統合型KEPLMs、ゼロ/フェイシュート学習、解釈可能性および耐性の向上といった今後の研究方向性を検討すること。

提案手法

• 知識を常識的（例：ConceptNet、ATOMIC）、ドメイン特化型（例：医療、法曹、EC）、構造化形式（例：知識グラフ、三元組、埋め込み）に分類する。
• 知識統合を暗黙的手法（例：知識誘導型マスキング、事前学習タスク）と明示的手法（例：入力挿入、統合モジュール、外部メモリ検索）に分類する。
• 知識の習得（例：モデルのプローブ）、効率性（例：推論速度）、一般化（例：マルチタスク性能）に注目した評価戦略をレビューする。
• 質問応答、要約、機械翻訳などの知識集約的NLPタスクにおけるKEPLMの応用を分析する。
• 複数のタスクに適した統合型KEPLMs、強化されたゼロ/フェイシュート学習、解釈可能性および耐性の向上といった今後の研究方向性を提案する。
• KGI、KALM、K-BARTなどの既存のKEPLMsをレビューし、その設計選択とKILTなどのベンチマークでのパフォーマンスを強調する。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルを拡張するために用いられる主な知識の種別と形式は何か？
• RQ2 暗黙的および明示的知識統合手法は、設計および有効性においてどのように異なるか？
• RQ3 KEPLMにおける知識習得、効率性、一般化の測定に最も適した評価指標は何か？
• RQ4 KEPLMは、下流の知識集約的NLPタスクでどのようにパフォーマンスを向上させるか？
• RQ5 解釈可能性、耐性、ゼロショット学習の面で、KEPLMにおける主な未解決課題と今後の研究方向性は何か？

主な発見

• 外部知識を統合することにより、KEPLMは標準的なPLMのブラックボックス性を軽減し、モデルの解釈可能性と推論能力を顕著に向上させる。
• 入力に知識三元組を挿入する、または外部メモリを使用するような明示的統合手法は、質問応答や要約などの知識集約的タスクでより優れたパフォーマンスを達成する。
• 知識誘導型マスキングや事前学習タスクのような暗黙的手法は、モデルアーキテクチャを変更せずに知識を効果的に統合でき、計算コストを最小限に抑えつつ強力な結果を達成する。
• KGI や KALM などのモデルは、知識統合がゼロショットおよびフェイシュート学習の能力を向上させることを示しており、特にリソースが限られた環境で顕著である。
• 知識プローブやマルチタスク一般化に注目した評価指標は、標準的なPLMよりもKEPLMが外部知識をより効果的に習得・保持できることを示している。
• 進展は見られるが、解釈可能性と耐性はKEPLMにおいてまだ十分に検討されていないため、今後の研究における重要な分野である。