[論文レビュー] Fusing Context Into Knowledge Graph for Commonsense Question Answering

Yichong Xu, Chenguang Zhu+4 more|arXiv (Cornell University)|Dec 9, 2020

Topic Modeling参考文献 26被引用数 8

ひとこと要約

本稿では、Wiktionaryからの文脈的記述と知識グラフ（ConceptNet）を統合し、事前学習済み言語モデル（ALBERT）に供給することで、常識的質問応答を向上させるDEKCORというモデルを提案する。エンティティの定義と関連知識トリプルを統合することで、常識的QAの最先端性能を達成し、CommonsenseQA（単一モデルで+1.2%、アンサンブルで+3.8%）、OpenBookQAでは生成モデルを除く非生成モデルの中で最高の結果を記録した。

ABSTRACT

Commonsense question answering (QA) requires a model to grasp commonsense and factual knowledge to answer questions about world events. Many prior methods couple language modeling with knowledge graphs (KG). However, although a KG contains rich structural information, it lacks the context to provide a more precise understanding of the concepts. This creates a gap when fusing knowledge graphs into language modeling, especially when there is insufficient labeled data. Thus, we propose to employ external entity descriptions to provide contextual information for knowledge understanding. We retrieve descriptions of related concepts from Wiktionary and feed them as additional input to pre-trained language models. The resulting model achieves state-of-the-art result in the CommonsenseQA dataset and the best result among non-generative models in OpenBookQA.

研究の動機と目的

• 知識グラフ（KG）に文脈的記述が不足しているというギャップを解消し、常識的推論におけるエンティティの正確な理解を促進する。
• Wiktionaryからの外部的で記述的な知識を統合することで、KG内のエンティティ表現を豊かにし、常識的質問応答を向上させる。
• 構造化された知識（ConceptNetから）と非構造化された文脈（Wiktionaryから）を事前学習済み言語モデルに統合し、より良い推論を実現する。
• 大規模な生成モデルに依存せずに、ベンチマークとしての常識的QAデータセットで最先端の結果を達成する。

提案手法

• 質問と選択肢の概念を抽出し、ConceptNet内でそれらの間の直接的なエッジを検索する。該当がなければ、選択肢のエンティティを含む関連性が最も高いトリプルを選択する。
• 複数基準のテキストマッチングを用いて、Wiktionaryから正確なエンティティ定義を取得し、意味的関連性を保証する。
• 質問、候補となる選択肢、選択された知識トリプル、およびエンティティの記述をALBERT言語モデルに供給し、回答スコアを算出する。
• 異なるランダムシードで初期化された複数のモデルを用いたアンサンブル推論を実施し、耐性と精度を向上させる。
• OpenBookQA用のモデルをCommonsenseQAの学習セットで事前学習することで、ターゲットデータセットにおける性能を向上させる。
• アブレーションスタディを実施し、エンティティ記述と知識トリプルが最終性能に与える寄与を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 Wiktionaryからの外部エンティティ記述は、知識グラフ拡張型QAモデルにおける常識的推論を改善できるか？
• RQ2 文脈的記述の統合は、常識的QAにおける事前学習言語モデルの性能にどのように影響するか？
• RQ3 ConceptNetからの知識トリプルとWiktionaryからのエンティティ記述は、それぞれ回答精度にどの程度独立して寄与するか？
• RQ4 生成モデルに依存しない非生成モデルが、T5ベースの大規模生成モデルを除いてOpenBookQAで最先端の性能を達成できるか？
• RQ5 知識統合と組み合わせた際、使用する事前学習言語モデルのアーキテクチャが最終的なQA性能に顕著に影響を与えるか？

主な発見

• DEKCORは、単一モデルで前回の最先端性能を+1.2%上回り、アンサンブル推論では+3.8%の向上を達成した。
• OpenBookQAでは、生成モデルを除く非生成モデルの中で最高の正確性を記録し、すべてのベースラインを上回ったが、2つの大規模T5ベースの生成モデルを除いては上回った。
• アブレーションスタディの結果、Wiktionaryのエンティティ記述を統合することで、CommonsenseQAの開発セットで2.7%の正確性向上が得られ、知識トリプルの使用がさらに4.4%の向上をもたらした。
• 事例研究では、文脈豊かな記述が推論を著しく向上させることを示しており、たとえば「コウノトリが昆虫食である」という記述により「虫を食べる」選択肢を正しく除外できた。
• 事前学習モデルの性能順位は、BERT < RoBERTa < XLNet < ALBERT < T5 の順序に従っており、モデルアーキテクチャの選択が最終的な正確性に強く影響することが示された。
• CommonsenseQAの学習データでOpenBookQAモデルを事前学習することで、明確な性能向上が得られた。これは、関連する常識的QAタスク間でのデータ転送の利点を示している。