[論文レビュー] A Survey of Knowledge Enhanced Pre-trained Models

Jian Yang, Xinyu Hu+2 more|arXiv (Cornell University)|Oct 1, 2021

Topic Modeling参考文献 127被引用数 23

ひとこと要約

本調査は、知識グラフなどの記号的知識を事前学習モデルに統合することで推論力、耐障害性、解釈可能性を向上させる、知識強化型事前学習言語モデル（KEPLMs）の包括的な分類と分析を提示する。論文は、知識の粒度、統合手法、記号的パrameterizationの観点からKEPLMsを分類し、NLPにおけるスケーラブルで一貫性があり汎用性のある知識統合のための主な課題と今後の方向性を特定する。

ABSTRACT

Pre-trained language models learn informative word representations on a large-scale text corpus through self-supervised learning, which has achieved promising performance in fields of natural language processing (NLP) after fine-tuning. These models, however, suffer from poor robustness and lack of interpretability. We refer to pre-trained language models with knowledge injection as knowledge-enhanced pre-trained language models (KEPLMs). These models demonstrate deep understanding and logical reasoning and introduce interpretability. In this survey, we provide a comprehensive overview of KEPLMs in NLP. We first discuss the advancements in pre-trained language models and knowledge representation learning. Then we systematically categorize existing KEPLMs from three different perspectives. Finally, we outline some potential directions of KEPLMs for future research.

研究の動機と目的

• 事前学習言語モデルおよび知識表現学習に関する包括的レビューを提供すること。
• 知識の粒度、統合手法、記号的パrameterizationに基づくKEPLMsの新しい分類法を提唱すること。
• さまざまなNLPタスクにおける異なるKEPLMカテゴリの有効性、解釈可能性、限界を分析すること。
• スケーラブルで一貫性があり汎用性のある知識統合のための、NLPにおける未解決の課題を特定し、今後の研究方向性を提案すること。

提案手法

• 知識の粒度（エンティティ、関係、トリプルなど）、知識統合手法（特徴融合、埋め込み結合、監視、リtrieval、ルール誘導）、記号的知識のパrameterizationの度合いの3軸に沿ってKEPLMsを分類すること。
• 各KEPLMカテゴリの動作原理とトレードオフ（計算コスト、解釈可能性、下流タスクでのパフォーマンス）を分析すること。
• 適用範囲、知識統合の有効性、知識管理、解釈可能性の観点から、既存のKEPLMsを評価すること。
• 手続き的知識やメタ認知的知識の統合、一般化された知識表現の開発、プラグアンドプレイ式の知識更新の実現を含む、今後の研究方向性を提言すること。
• 異種の知識ソース間での一貫性検証メカニズムと、マルチステップの知識抽出における誤差伝播の緩和策を導入すること。
• 形式的論理とPLMsのハイブリッド統合を提唱し、複雑な自然言語シナリオにおける帰納的推論と一般化の向上を図ること。

実験結果

リサーチクエスチョン

• RQ1 記号的知識をどのように体系的に事前学習言語モデルに統合することで、推論力と解釈可能性を向上させることができるか？
• RQ2 KEPLMsにおけるさまざまな知識統合手法の主な違いとトレードオフは何か？
• RQ3 異なる知識の粒度と表現形式は、モデルのパフォーマンスと一貫性にどのように影響を与えるか？
• RQ4 動的で現実世界のNLP応用において、知識の一貫性と効率性を維持する上で残された課題は何か？
• RQ5 将来的なKEPLMsは、手続き的知識やメタ認知的知識を含む多様な知識タイプに対して、どのように一般化を支援できるか？

主な発見

• 知識グラフなどの記号的知識を統合することで、KEPLMsはバイアスの強い統計的パターンへの依存を減らし、モデルの耐障害性と解釈可能性を顕著に向上させる。
• 特徴融合型KEPLMsは計算コストが低く、細粒度のエンティティレベルタスクに効果的である一方、埋め込み結合型モデルは知識駆動型NLPタスク全体にわたってより良い一般化性能を示す。
• リtrievalベースおよびルール誘導型KEPLMsは意思決定の透明性を高めるが、しばしば特定の応用に限定され、より汎用性の高いフレームワークの必要性が浮き彫りになる。
• 現在のKEPLMsは、異種の知識ソース統合や動的知識の更新に対応する際、知識の一貫性に課題を抱えており、より良い整合性と検証メカニズムの開発が求められる。
• PLMsと形式的論理を統合することは、標準的なPLMsが直面する主要な課題である帰納的推論の向上に有望である。
• 将来的なKEPLMsは、効率的でプラグアンドプレイ式の知識保存・更新を可能とし、複数の知識ソース間の矛盾を検出・解消するメカニズムを備えるべきである。