[論文レビュー] Combining pre-trained language models and structured knowledge

Pedro Colón-Hernández, Catherine Havasi+3 more|arXiv (Cornell University)|Jan 28, 2021

Topic Modeling参考文献 44被引用数 12

ひとこと要約

この論文は、知識グラフからの構造的知識を事前学習済み言語モデルに統合する手法を調査し、入力、アーキテクチャ、出力への統合技術を評価している。適応型知識統合と、複数の手法を組み合わせたハイブリッド手法が、事実の整合性とNLPタスクのパフォーマンス向上に有望であると特定している。

ABSTRACT

In recent years, transformer-based language models have achieved state of the art performance in various NLP benchmarks. These models are able to extract mostly distributional information with some semantics from unstructured text, however it has proven challenging to integrate structured information, such as knowledge graphs into these models. We examine a variety of approaches to integrate structured knowledge into current language models and determine challenges, and possible opportunities to leverage both structured and unstructured information sources. From our survey, we find that there are still opportunities at exploiting adapter-based injections and that it may be possible to further combine various of the explored approaches into one system.

研究の動機と目的

• 事前学習済みトランスフォーマー基盤の言語モデルに、知識グラフからの構造的知識を統合する既存のアプローチを検討すること。
• 非構造的テキスト表現と知識グラフの厳密な記号的知識を統合する際の課題を特定すること。
• 入力中心、アーキテクチャ中心、出力中心の統合技術の有効性を評価すること。
• 複数の統合戦略を統合した統一的かつより効果的なシステムへの統合の機会を検討すること。
• 特にアダプタベースの統合とハイブリッドアーキテクチャが、知識と言語モデルの統合をより緊密に行うための有望な研究方向性であると特定すること。

提案手法

• 知識統合手法を3つのカテゴリに分類する：入力中心（入力データや埋め込みの変更）、アーキテクチャ中心（モデルレイヤーの変更）、出力中心（損失関数や出力の変更）。
• KALM（トレーニングデータにKGトリプルを統合）、KnowBERT（アダプタベースの統合）、GCN-XLNet（GCNを用いて文脈表現を強化）などの具体的な手法をレビューする。
• Malaviyaら（2020）のハイブリッドモデルを分析し、BERT埋め込みとGCN表現を組み合わせ、エンコーダデコーダ構造を用いて知識グラフ補完を実行する。
• 将来の手法として、後続の専門化によるリキャリブレーション埋め込みと、神経的メモリを備えたアダプタモジュールを提案し、知識の照会と統合を向上させる。
• 信号伝達技術（例：KALM）とアダプタベース手法（例：KnowBERT）を組み合わせることで、エンティティ表現の文脈的適合性を向上させることを提言する。
• LIBERTにインspiredして、エンティティ埋め込みと意味的信号を統合し、トランスフォーマー・モデルと互換性のある方法で入力表現を豊かにする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルの文脈表現を損なわせることなく、知識グラフからの構造的知識を効果的に統合する方法は何か？
• RQ2 入力中心、アーキテクチャ中心、出力中心の知識統合手法の相対的な長所と短所は何か？
• RQ3 アダプタベース手法は、最小限のパラメータ更新で効率的かつ効果的な知識統合を可能にするか？
• RQ4 入力＋アーキテクチャ＋出力の複数の統合戦略を1つのシステムに統合することで得られる利点は何か？
• RQ5 神経的メモリモジュールをアダプタと統合することで、言語モデルにおける知識の検索と文脈統合をどのように向上させられるか？

主な発見

• 事前学習済み言語モデルは事実的・意味的知識を一部に保持しているが、幻覚現象を起こしやすく、構造的事実の厳密な遵守が欠けている。
• 知識グラフの統合により、特に質問応答と知識グラフ補完の下流NLPタスクにおける事実の整合性とパフォーマンスが向上する。
• KnowBERTにおけるアダプタベースの統合手法は、パラメータの追加が少なく、知識に配慮した表現の微調整が有効であるため、有望である。
• GCNと言語モデルを組み合わせたハイブリッドモデル（例：GCN-XLNet）は、構造的表現と文脈的表現の両方を活用することで、より優れた推論を実現する。
• 入力信号（例：KGトリプル）とアーキテクチャ的変更（例：アダプタ）を組み合わせることで、エンティティ表現の文脈適合性が向上する可能性がある。
• 入力、アーキテクチャ、出力の統合手法を同時に活用する統一システムを開発する余地が依然として存在する。