[論文レビュー] KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs

Yinquan Lu, H. Lu+2 more|arXiv (Cornell University)|Sep 9, 2021

Topic Modeling参考文献 37被引用数 19

ひとこと要約

KELM は、BERT などの事前学習言語モデルに知識グラフ（KG）からの事実的知識を動的に統合する知識強化型ファインチューニングフレームワークを提案する。統一された知識強化テキストグラフ（UKET）を介して、テキスト、エンティティの表記、KGの部分グラフの間で階層的関係メッセージパッシングを実施することで、知識の曖昧さを解消し、MRCタスクで最先端の性能を達成。ReCoRD では +3.2 EM、MultiRC では +3.1 EM の向上を達成。

ABSTRACT

Incorporating factual knowledge into pre-trained language models (PLM) such as BERT is an emerging trend in recent NLP studies. However, most of the existing methods combine the external knowledge integration module with a modified pre-training loss and re-implement the pre-training process on the large-scale corpus. Re-pretraining these models is usually resource-consuming, and difficult to adapt to another domain with a different knowledge graph (KG). Besides, those works either cannot embed knowledge context dynamically according to textual context or struggle with the knowledge ambiguity issue. In this paper, we propose a novel knowledge-aware language model framework based on fine-tuning process, which equips PLM with a unified knowledge-enhanced text graph that contains both text and multi-relational sub-graphs extracted from KG. We design a hierarchical relational-graph-based message passing mechanism, which can allow the representations of injected KG and text to mutually update each other and can dynamically select ambiguous mentioned entities that share the same text. Our empirical results show that our model can efficiently incorporate world knowledge from KGs into existing language models such as BERT, and achieve significant improvement on the machine reading comprehension (MRC) task compared with other knowledge-enhanced models.

研究の動機と目的

• 既存の知識強化型PLMが再トレーニングに高コストを要し、知識の曖昧さに対処に苦労するという限界を解消すること。
• 再トレーニングではなく、ファインチューニング段階での動的かつ文脈に適応した知識インジェクションを可能にし、分野間の適応性を向上させること。
• 多関係性KGから、文脈的に最も関連性の高い表記エンティティを選択することで、知識の曖昧さを解消すること。
• ベースPLMの再トレーニングなしに、異種のテキスト的および構造的知識を統一的グラフ表現を用いて効率的に統合すること。

提案手法

• テキストのみのシーケンス、エンティティ表記からKGエンティティへのリンク、および表記されたエンティティを中心にしたKG部分グラフを統合する統一された知識強化テキストグラフ（UKET）を構築する。
• テキストグラフ、エンティティリンクグラフ、KG部分グラフの間で、交互に表現を更新する階層的関係メッセージパッシング機構を適用する。
• 文脈に応じて、同じテキストを持つ複数の候補エンティティの中から最も文脈的に関連性の高いエンティティを動的に選択するためのアテンションベースのスコアリングを用いる。
• 多関係性KGを横断して情報伝達を行うメッセージパッシング戦略を採用し、エンティティの文脈に依存した表現を可能にする。
• ベースPLMの大型コーパスでの再トレーニングを回避するため、ファインチューニング段階での知識インジェクションを統合する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング段階での知識インジェクションは、再トレーニングベースの手法に比べ、効率性と分野適応性において優れているか？
• RQ2 テキスト的文脈に基づいて、KG内に複数存在する曖昧な表記エンティティから正しいエンティティを動的に選択する方法は何か？
• RQ3 統一されたテキスト-KG グラフ上で階層的メッセージパッシングを実施することで、機械読解における事実的推論が向上するか？
• RQ4 動的知識統合は、関連性のないまたは曖昧なエンティティ候補からのノイズをどの程度低減するか？

主な発見

• ReCoRD データセットでは、前回のSOTA知識強化モデルに比べ +3.2 EM および +1.9 F1 の向上を達成した。
• MultiRC では、BERT_large に比べ +3.1 EM および +0.8 F1 の向上を達成し、KT-NET よりも +1.5 の EM+F1 総合スコアを獲得した。
• ケーススタディにより、モデルは文脈に基づいて正しいエンティティの意味（例：'ban' を名詞 vs. 動詞として）を的確に特定し、知識の曖昧さを効果的に解消していることが示された。
• アテンションベースのエンティティ選択機構は、文脈的に関連性の高いエンティティに高い重みを割り当てており、例として 'ban.n.04'（0.715）は 'ban.v.02'（0.205） よりも高い重みを示している。
• ベースPLMの再トレーニングを必要とせず、新しい知識グラフへの迅速な適応が可能であるため、分野をまたがる強力な一般化性能を示している。