[論文レビュー] Fusing Context Into Knowledge Graph for Commonsense Reasoning.

Yichong Xu, Chenguang Zhu+4 more|arXiv (Cornell University)|Dec 9, 2020

Topic Modeling被引用数 14

ひとこと要約

本稿では、事前学習言語モデルにウィクショナリーから抽出した外部エンティティ記述を統合することで、常識的推論における知識グラフ統合を向上させる手法を提案する。三重項に加え、文脈的な記述をエンティティに付加することで、モデルはCommonsenseQAで最先端の性能を達成し、単一モデルで80.7%、アンサンブルモデルで83.3%の正答率を記録した（公式リーダーボード）。

ABSTRACT

Commonsense reasoning requires a model to make presumptions about world events via language understanding. Many methods couple pre-trained language models with knowledge graphs in order to combine the merits in language modeling and entity-based relational learning. However, although a knowledge graph contains rich structural information, it lacks the context to provide a more precise understanding of the concepts and relations. This creates a gap when fusing knowledge graphs into language modeling, especially in the scenario of insufficient paired text-knowledge data. In this paper, we propose to utilize external entity description to provide contextual information for graph entities. For the CommonsenseQA task, our model first extracts concepts from the question and choice, and then finds a related triple between these concepts. Next, it retrieves the descriptions of these concepts from Wiktionary and feed them as additional input to a pre-trained language model, together with the triple. The resulting model can attain much more effective commonsense reasoning capability, achieving state-of-the-art results in the CommonsenseQA dataset with an accuracy of 80.7% (single model) and 83.3% (ensemble model) on the official leaderboard.

研究の動機と目的

• 常識的推論に用いられる知識グラフにおける文脈情報の不足を解消すること。
• 事前学習言語モデルにおけるテクスト的文脈と関係的知識の整合性を向上させること。
• リソースが限られたテキスト-知識ペairリング状況において、外部記述によるエンティティの強化によって性能ギャップを縮小すること。
• 文脈的な知識統合を用いて、CommonsenseQAベンチマークで最先端の結果を達成すること。

提案手法

• CommonsenseQAデータセット内の質問および選択肢からキーコンセプトを抽出する。
• 抽出されたコンセプトを結びつける関連する知識グラフ三重項を特定する。
• ウィクショナリーから各コンセプトエンティティの記述テキストを取得し、文脈的情報を提供する。
• 知識グラフ三重項とウィクショナリーのエンティティ記述を、事前学習言語モデルへの入力として供給する。
• 構造的知識とテキスト的知識の両方を用いて、常識的推論の最適化を一括して行うために、言語モデルを微調整する。
• アンサンブル推論を用いて、CommonsenseQAのリーダーボードにおける予測正答率をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 外部のエンティティ記述は、常識的推論における知識グラフエンティティの文脈的理解を向上させることができるか？
• RQ2 ウィクショナリーに基づく記述の統合は、CommonsenseQAベンチマークにおける性能にどのように影響するか？
• RQ3 本手法は、リソースが限られたテキスト-知識ペアリング状況下で、既存の知識グラフ統合手法を上回る性能を示すか？
• RQ4 記述的テキストの統合は、関係的三重項のみに依存する場合と比較して、どの程度推論能力を向上させるか？

主な発見

• 提案手法は、CommonsenseQAテストセットで単一モデルで80.7%の正答率を達成し、新たな最先端の結果を樹立した。
• アンサンブルモデルでは83.3%の正答率に達し、単一モデルよりもさらに性能が向上した。
• ウィクショナリーに基づく記述の統合により、モデルの常識的コンセプトに関する推論能力が顕著に向上した。
• 文脈的強化のおかげで、テキスト-知識データペアが限られた状況でも、モデルのロバスト性が向上した。
• 本手法は、構造的知識と文脈的言語理解の間のギャップを効果的に埋め合わせた。
• 結果から、外部記述がNLPタスクにおける知識グラフエンティティの貴重な文脈的情報源として機能することが確認された。