[論文レビュー] Dynamic Knowledge Graph Construction for Zero-shot Commonsense Question Answering

Antoine Bosselut, Yejin Choi|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 29被引用数 38

ひとこと要約

本稿では、生成的ニューラル共通知識モデルを用いて、必要に応じて文脈的に関連する知識を生成することで、ゼロショット共通知識質問応答のための動的知識グラフ構築手法を提案する。これらの動的に構築されたグラフ上で確率的推論を定式化することにより、事前学習済み言語モデルや知識モデルを用いた直接的な回答評価と比較して、SocialIQaおよびStoryCommonsenseデータセットにおいて顕著な性能向上を達成する。

ABSTRACT

Understanding narratives requires dynamically reasoning about the implicit causes, effects, and states of the situations described in text, which in turn requires understanding rich background knowledge about how the social and physical world works. At the core of this challenge is how to access contextually relevant knowledge on demand and reason over it. In this paper, we present initial studies toward zero-shot commonsense QA by formulating the task as probabilistic inference over dynamically generated commonsense knowledge graphs. In contrast to previous studies for knowledge integration that rely on retrieval of existing knowledge from static knowledge graphs, our study requires commonsense knowledge integration where contextually relevant knowledge is often not present in existing knowledge bases. Therefore, we present a novel approach that generates contextually relevant knowledge on demand using generative neural commonsense knowledge models. Empirical results on the SocialIQa and StoryCommonsense datasets in a zero-shot setting demonstrate that using commonsense knowledge models to dynamically construct and reason over knowledge graphs achieves performance boosts over pre-trained language models and using knowledge models to directly evaluate answers.

研究の動機と目的

• 静的知識ベースに存在しない文脈的に関連する共通知識にアクセスする課題に対処すること。
• 事前に用意された静的知識グラフに依存するのではなく、必要に応じて関連する共通知識を生成する手法を開発すること。
• 動的知識グラフ構築と生成された知識上の確率的推論を統合することで、ゼロショット共通知識推論を向上させること。
• 生成的共通知識モデルが、下流のQAタスクに適した文脈に即した知識グラフを構築する有効性を実証すること。

提案手法

• 本手法は、ゼロショット共通知識QAを、動的に構築された知識グラフ上の確率的推論として定式化する。
• 静的KBからの検索ではなく、リアルタイムに文脈的に関連する知識エントリを生成するための生成的ニューラル共通知識モデルを採用する。
• 生成された知識は、入力ナラティブに関連する因果的・意図的・状態関連の関係を捉える知識グラフに構造化される。
• 動的グラフ上で確率的推論を実行することで、暗黙の世界知識に基づく推論が可能になる。
• 文脈的なナラティブ入力を根拠とするために、事前学習済み言語モデルと統合する。
• 本フレームワークは、SocialIQaおよびStoryCommonsenseデータセットを用いて、ゼロショット設定でエンドツーエンドに訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 動的に生成された共通知識グラフは、静的知識ベースからの検索を上回るゼロショット共通知識質問応答を改善できるか？
• RQ2 知識モデルを用いた直接的な回答スコアリングと比較して、動的に構築された知識グラフ上の確率的推論はどの程度効果的か？
• RQ3 生成的共通知識モデルは、既存の知識ベースに存在しない文脈的に関連する知識をどの程度供給できるか？
• RQ4 必要に応じて知識グラフを構築することは、ナラティブの暗黙の状態や因果関係の推論を向上させるか？
• RQ5 本手法は、共通知識推論ベンチマークにおける強いベースラインと比較して、ゼロショット設定でどの程度優れているか？

主な発見

• 動的知識グラフ構築手法は、SocialIQaおよびStoryCommonsenseデータセットの両方で、事前学習済み言語モデルを上回る性能を達成する。
• 生成モデルを用いて文脈に即した知識グラフを構築することは、知識モデルによる直接的な回答評価よりも優れた推論を実現する。
• 必要に応じて関連する知識を生成することにより、本手法はナラティブに内在する暗黙の因果的および意図的関係を効果的に捉える。
• 静的知識ベース統合と比較して、動的に生成されたグラフ上の確率的推論により、回答の正確性が向上する。
• 本フレームワークは、特に既存のKBに必要な共通知識が存在しない状況において、顕著なゼロショット一般化性能を示す。
• 実験的結果は、未学習の文脈的に複雑な共通知識推論タスクにおいて、動的知識生成がリtrievalベースのアプローチを上回ることを確認する。