[論文レビュー] Deep Bidirectional Language-Knowledge Graph Pretraining

Michihiro Yasunaga, Antoine Bosselut+5 more|arXiv (Cornell University)|Oct 17, 2022

Topic Modeling被引用数 87

ひとこと要約

tldr: Dragon pretrains a deeply joint language-knowledge model from text and KG, combining MLM and KG link prediction to achieve strong gains across general and biomedical QA tasks, including +10% on complex reasoning and +8% in low-resource settings.

ABSTRACT

Pretraining a language model (LM) on text has been shown to help various downstream NLP tasks. Recent works show that a knowledge graph (KG) can complement text data, offering structured background knowledge that provides a useful scaffold for reasoning. However, these works are not pretrained to learn a deep fusion of the two modalities at scale, limiting the potential to acquire fully joint representations of text and KG. Here we propose DRAGON (Deep Bidirectional Language-Knowledge Graph Pretraining), a self-supervised approach to pretraining a deeply joint language-knowledge foundation model from text and KG at scale. Specifically, our model takes pairs of text segments and relevant KG subgraphs as input and bidirectionally fuses information from both modalities. We pretrain this model by unifying two self-supervised reasoning tasks, masked language modeling and KG link prediction. DRAGON outperforms existing LM and LM+KG models on diverse downstream tasks including question answering across general and biomedical domains, with +5% absolute gain on average. In particular, DRAGON achieves notable performance on complex reasoning about language and knowledge (+10% on questions involving long contexts or multi-step reasoning) and low-resource QA (+8% on OBQA and RiddleSense), and new state-of-the-art results on various BioNLP tasks. Our code and trained models are available at https://github.com/michiyasunaga/dragon.

研究の動機と目的

• テキストと知識グラフ（KG）を共にモデル化することで、深く相互作用的な表現を学習する動機づけ。
• テキストとKG表現を双方向に融合させる、スケーラブルで自己監視型の事前学習目的の開発。
• 一般ドメインとバイオメディカルタスクを横断してアプローチを評価し、推論能力とデータ効率の改善を示す。
• MLMとKGリンク予測を組み合わせた共同事前学習が、単一目的や事前学習なしのベースラインよりも強力な性能を発揮することを示す。

提案手法

• テキストをサンプリングし、エンティティリンクと2ホップ展開によって関連するKG部分グラフを取得して、整列された（テキストセグメントとローカルKG）ペアを構築する。
• 複数のフュージョン層を横断して、テキストトークン表現とKGノード表現を双方向に融合するクロスメディアエンコーダ（GreaseLM）を用いる。
• MLM（マスクド言語モデリング）とKGリンク予測（LinkPred）を組み合わせた共同目的で事前学習を行う。
• アブレーションを通じて、異なるKGスコアリング関数（DistMult、TransE、RotatE）とモダリティ相互作用戦略を評価する。
• 分類またはQAタスクのために、融合したテキスト-KG表現をプーリングして下流タスクにファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 深く双方向の自己教師付き事前学習レジームは、スケールでテキストとKG情報を効果的に融合できるか。
• RQ2 共同のMLMとKGリンク予測目的は、単一目的の事前学習より良い結合表現を生み出すか。
• RQ3 Dragon は、コモンセンス推論および生物医学指向のQAタスクで、LMのみおよびKG拡張ベースラインと比較してどのように機能するか。
• RQ4 KG構造を事前学習時に活用すると、アプローチはよりデータ効率が良くスケーラブルになるか。

主な発見

モデル	CSQA	OBQA	Riddle	ARC	CosmosQA	HellaSwag	PIQA	SIQA	aNLI
RoBERTa	68.7	64.9	60.7	43.0	80.5	82.3	79.4	75.9	82.7
QAGNN	73.4	67.8	67.0	44.4	80.7	82.6	79.6	75.7	83.0
GreaseLM	74.2	66.9	67.2	44.7	80.6	82.8	79.6	75.5	83.3
Dragon (Ours)	76.0	72.0	71.3	48.6	82.3	85.2	81.1	76.8	84.0

• Dragon は nine commonsense reasoning タスク全般で RoBERTa および KG拡張ベースライン（QAGNN、GreaseLM）を一貫して上回る。例えば OBQA、CosmosQA、HellaSwag での成績が挙上。
• 複雑な推論を要するタスクでの顕著な向上を示す（例：多段階/否定/長文質問で+10%、OBQAおよびRiddleSenseで+8%の低リソースQA）。
• 一般ドメイン設定では、ベースラインに対して平均で約+5%の絶対的改善を達成。
• 生物医薬分野では、BioNLPタスクで新しいSOTAを樹立し、MedQAとPubMedQAで顕著な改善を示す。
• アブレーションは、共同MLM+LinkPredがいずれかの目的単独より優れており、双方向のクロスメディアル融合がエンド連結やKGを文として扱うベースラインより優れていることを示す。
• モデル容量を増やすことは Dragon には有効だが、ファインチューニングのみのベースラインには効果がないことを示し、事前学習によるデータ効率の良いスケーリングを示唆。