[論文レビュー] A Survey of Knowledge Enhanced Pre-trained Language Models

Linmei Hu, Zeyi Liu+4 more|arXiv (Cornell University)|Nov 11, 2022

Topic Modeling被引用数 8

ひとこと要約

本サーベイは、自然言語理解（NLU）および自然言語生成（NLG）を対象とした、知識拡張型事前学習言語モデル（KE-PLMs）の包括的な分類体系を提供する。NLUでは知識の種別（言語的知識、テキスト知識、知識グラフ、ルール知識）に基づき、NLGではリtrievalベースまたはKGベースのアプローチに基づき分類する。主な課題を特定し、解釈可能性、継続的学習、効率最適化、出力多様性といった今後の方向性を提案する。

ABSTRACT

Pre-trained Language Models (PLMs) which are trained on large text corpus via self-supervised learning method, have yielded promising performance on various tasks in Natural Language Processing (NLP). However, though PLMs with huge parameters can effectively possess rich knowledge learned from massive training text and benefit downstream tasks at the fine-tuning stage, they still have some limitations such as poor reasoning ability due to the lack of external knowledge. Research has been dedicated to incorporating knowledge into PLMs to tackle these issues. In this paper, we present a comprehensive review of Knowledge Enhanced Pre-trained Language Models (KE-PLMs) to provide a clear insight into this thriving field. We introduce appropriate taxonomies respectively for Natural Language Understanding (NLU) and Natural Language Generation (NLG) to highlight these two main tasks of NLP. For NLU, we divide the types of knowledge into four categories: linguistic knowledge, text knowledge, knowledge graph (KG), and rule knowledge. The KE-PLMs for NLG are categorized into KG-based and retrieval-based methods. Finally, we point out some promising future directions of KE-PLMs.

研究の動機と目的

• NLUおよびNLGタスクの特性に応じた、知識拡張型事前学習言語モデル（KE-PLMs）の体系的レビューを提供すること。
• NLUにおけるKE-PLMsの専用分類体系（知識タイプ：言語的、テキスト、知識グラフ、ルール）とNLGにおけるKE-PLMsの専用分類体系（知識ソース：リtrievalベース、KGベース）を確立すること。
• KE-PLMsにおける主な課題、すなわち解釈可能性、深刻な忘却、計算効率、生成多様性を特定し、分析すること。
• KE-PLMsの発展を促進する今後の研究方向性、例えば継続的知識統合や効率的知識統合を提案すること。

提案手法

• 二重分類フレームワークを提案：NLUは知識タイプ（言語的、テキスト、知識グラフ、ルール）に基づき、NLGは知識ソース（リtrievalベース、KGベース）に基づく。
• 各カテゴリに属する代表的モデルをレビュー。例：ERINE-VIL はマルチモーダルな知識統合を、GRF は知識グラフを用いたハイプホップ推論を実現。
• 深刻な忘却を軽減するため、継続的知識学習手法を導入。例：ELLE（モデル拡張）と K-adapter（アダプタベースの知識保存）を提案。
• 知識統合の効率性を向上させる最適化戦略を提案。例：ZeROに基づくパラメータ分割によりメモリオーバーヘッドを低減。
• 多様性を高める技術を検討。例：MoKGE はエキスパートの混合と多様な共通認識推論を活用し、複数の妥当な出力を生成。
• 明示的な推論経路を通じた解釈可能性の分析。例：GRF が予測の透明性と論理的一致性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 知識は、NLUおよびNLGタスクにおける事前学習言語モデルに、どのように体系的に分類・統合可能か？
• RQ2 従来のPLMsが推論および共通認識生成において抱える主な制限は何であり、KE-PLMsはそれらをどのように克服するか？
• RQ3 KE-PLMsは、時間経過とともに新しい知識を統合しながら、過去の知識を忘れないように、どのように性能を維持できるか？
• RQ4 大規模PLMsにおける知識統合の計算効率を向上するための戦略は何か？
• RQ5 KE-PLMsは、多様で文脈的に適切かつ論理的に整合性のある出力を生成するように、どのように強化できるか？

主な発見

• KE-PLMsは、外部知識を統合することで、NLUタスクにおける事実の正確性を顕著に向上させる。例：マスキング言語モデルで「Tiananmen」を正しく予測し、「the」ではなく特定の固有名詞を出力する。
• NLGでは、知識拡張型モデルがより自然で論理的な文を生成する。例：非拡張モデルが文法的に正しいが意味的に不条理な出力（例：「man is washing his hands with soap in a sink」）を生成する一方、拡張型モデルは文脈的に整合性のある出力を得る。
• GRF などのモデルは、明示的な推論経路を生成することで解釈可能性を向上させ、予測の透明性と論理的一致性を高める。
• ELLE や K-adapter といった継続的学習手法は、モデル容量の拡張やアダプタモジュールによる知識の段階的保存により、深刻な忘却を効果的に軽減する。
• ZeRO を用いた効率的フレームワークは、デバイス間でモデルパラメータ、勾配、最適化ステートを分割することで、メモリオーバーヘッドを低減する。
• MoKGE などの多様性向上手法は、共通認識知識グラフ内の多様なパスを活用し、生成タスクにおける出力の多様性を高める。