[論文レビュー] KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding

Keyur Faldu, Amit Sheth+2 more|arXiv (Cornell University)|Apr 9, 2021

Topic Modeling被引用数 9

ひとこと要約

KI-BERT は、エンティティのトークンタイプ、ベクトル空間への射影、位置のアライメント、選択的アテンションを用いて、微調整中に ConceptNet および WordNet からの知識的文脈を BERT に統合する新規手法を提案する。これは、科学的文脈や学術的サブセットを含むドメイン特化型タスク（SciTail、QQP、MNLI、QNLI）において、BERT-base を著しく上回り、BERT-large でさえも上回る。

ABSTRACT

Contextualized entity representations learned by state-of-the-art transformer-based language models (TLMs) like BERT, GPT, T5, etc., leverage the attention mechanism to learn the data context from training data corpus. However, these models do not use the knowledge context. Knowledge context can be understood as semantics about entities and their relationship with neighboring entities in knowledge graphs. We propose a novel and effective technique to infuse knowledge context from multiple knowledge graphs for conceptual and ambiguous entities into TLMs during fine-tuning. It projects knowledge graph embeddings in the homogeneous vector-space, introduces new token-types for entities, aligns entity position ids, and a selective attention mechanism. We take BERT as a baseline model and implement the "Knowledge-Infused BERT" by infusing knowledge context from ConceptNet and WordNet, which significantly outperforms BERT and other recent knowledge-aware BERT variants like ERNIE, SenseBERT, and BERT_CS over eight different subtasks of GLUE benchmark. The KI-BERT-base model even significantly outperforms BERT-large for domain-specific tasks like SciTail and academic subsets of QQP, QNLI, and MNLI.

研究の動機と目的

• BERT などの最先端のトランスフォーマーに基づく言語モデル（TLM）が、知識グラフからの知識的文脈を明示的に活用しないという限界を是正すること。
• 微調整中に外部の知識グラフからエンティティおよびその関係に関する意味的知識を統合することで、言語理解およびドメイン理解を向上させること。
• 知識グラフを用いて、概念的エンティティ（例：第一次世界大戦）および曖昧なエンティティ（例：複数の意味をもつ「drain」）の両方を効果的に処理する技術を開発すること。
• 微調整中に知識を統合することで、特にリソースが限られたドメイン特化型データセットにおいて優れた性能が得られることを示すこと。
• ベンチマークタスクで BERT や他の知識拡張モデルを上回るドメイン適応型・知識拡張型 BERT バリエーション（KI-BERT）をリリースすること。

提案手法

• ConceptNet および WordNet からの知識グラフ埋め込みを、線形変換を用いて BERT の隠れ状態と同じベクトル空間に射影する。
• エンティティを通常のトークンとは区別するための新しいトークンタイプを導入し、専用のアテンションメカニズムを可能にする。
• 入力シーケンス内のエンティティの位置を、知識グラフ内の対応する位置とアライメントさせ、構造的文脈を保持する。
• 文脈に応じて関連する知識グラフの隣接ノードに動的にアテンションを向ける選択的アテンションメカニズムを適用し、関連する事実に焦点を当てる。
• エンハンスされた BERT モデルを、下流タスクと同時にエンドツーエンドで微調整することで、文脈に応じた知識統合を学習可能にする。
• 多義語の語（例：「mass」、「drain」）の正しい意味を特定するための意味解釈モデルを用い、事前に WordNet からの意味固有の知識を注入する。

実験結果

リサーチクエスチョン

• RQ1 外部の知識グラフからの知識的文脈が、特にリソースが限られたまたはドメイン特化型の設定において、BERT の下流 NLP タスクにおける性能を向上させることができるか？
• RQ2 概念的エンティティ（例：歴史的出来事）および曖昧なエンティティ（例：多義語）の両方の知識を統合することで、モデルの一般化能力および推論能力にどのような影響を与えるか？
• RQ3 微調整段階での知識統合が、事前学習段階での知識統合や知識を統合しない場合に比べて優れた性能を発揮するか？
• RQ4 KI-BERT の性能向上は、特にドメイン特化型 NLP タスクにおいて、学習データ量が減少するに従ってどの程度スケーリングするか？
• RQ5 選択的アテンションおよびエンティティ固有のトークンタイプが、モデルが関連する知識を効果的に利用できるようにしながら、学習済み表現を損なわないか？

主な発見

• KI-BERT-base は GLUE の平均スコア 80.47 を達成し、BERT-base（78.9）を著しく上回り、ドメイン特化型ベンチマークでは BERT-large をも上回る。
• KI-BERT-base は、パラメータ数が BERT-large の約 1/3 であるにもかかわらず、科学分野のタスク（SciTail）および QQP、QNLI、MNLI の学術的サブセットで BERT-large を上回る性能を示す。
• 知識統合による性能向上は、特に小さなデータセットで顕著であり、リソースが限られたドメイン適応に非常に適していることが示された。
• アブレーションスタディの結果、選択的アテンション、エンティティトークンタイプ、位置のアライメント、ベクトル空間への射影のいずれかのコンポonentを削除すると、性能が顕著に低下する。
• 知識的文脈の統合により、正解の予測確信度が平均で 3.3% 向上し、さらにエンティティを多く統合すると 1.5% の追加向上が得られた。
• KI-BERT は正解予測の信頼性（例：BERT では 99.99% だが、KI-BERT では約 97% に改善）を維持しながら、誤った予測の過剰な自信（overconfidence）を低減しており、推論のロバストネスが向上していることが示唆される。