[論文レビュー] KG^2: Learning to Reason Science Exam Questions with Contextual Knowledge Graph Embeddings

Yuyu Zhang, Hanjun Dai+2 more|arXiv (Cornell University)|May 31, 2018

Topic Modeling参考文献 21被引用数 23

ひとこと要約

KG²は、質問と支援文から文脈的な知識グラフを構築することで、科学的質問への回答を向上させるニューラル推論フレームワークを提案する。仮説と支援的事実のグラフのペアに対して推論を学習することで、ARCチャレンジセットで31.70を達成し、先行する最先端手法よりも17.5%顕著に優れている。

ABSTRACT

The AI2 Reasoning Challenge (ARC), a new benchmark dataset for question answering (QA) has been recently released. ARC only contains natural science questions authored for human exams, which are hard to answer and require advanced logic reasoning. On the ARC Challenge Set, existing state-of-the-art QA systems fail to significantly outperform random baseline, reflecting the difficult nature of this task. In this paper, we propose a novel framework for answering science exam questions, which mimics human solving process in an open-book exam. To address the reasoning challenge, we construct contextual knowledge graphs respectively for the question itself and supporting sentences. Our model learns to reason with neural embeddings of both knowledge graphs. Experiments on the ARC Challenge Set show that our model outperforms the previous state-of-the-art QA systems.

研究の動機と目的

• 表面的なパターンを超えた深い推論を要する複雑で論理的密集型の科学的試験問題への対処を目的とする。
• 大規模なコーパスとニューラルモデルを用いてもARCチャレンジセットで失敗する既存のQAシステムの限界を克服することを目的とする。
• 開かれた教科書試験における人間の問題解決を模倣するため、質問の幹部と選択肢を統合して仮説を構築し、支援的事実を取得し、グラフベースの推論によって検証する。
• 知識の構造的表現に対して推論を学習できる微分可能なニューラルフレームワークを開発し、一般化性能と解釈可能性を向上させることを目的とする。
• 残りの難易度を「支援情報の欠落」「構文解析エラー」「複雑な推論」などの識別可能なカテゴリに分解することで、ARCベンチマークにおける進展を促進することを目的とする。

提案手法

• 質問の幹部と各選択肢を組み合わせて仮説グラフを構築し、オープン情報抽出（Open IE）を用いて主語-述語-目的語の三項対を抽出する。
• 検索エンジンを用いてARCコーパスから支援文を検索し、Open IEを介して関連する知識を表す支援的事実グラフを生成する。
• 仮説および支援的グラフを、エンティティをノード、関係をエッジとする知識グラフとして表現することで、構造的な推論を可能にする。
• 仮説グラフと支援的グラフの構造的パターンを比較する微分可能なニューラル推論エンジンを訓練し、正しい答えを予測する。
• 仮説グラフ内の推論パターンと支援的グラフ内の推論パターンを一致させる対照的学習目的関数を用い、一般化性能を向上させる。
• 勾配降下法を用いてエンドツーエンドでモデルを最適化し、埋め込みと推論意思決定を精緻化する。アテンションメカニズムを用いて関連する部分グラフに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 質問と支援的事実から文脈的な知識グラフを構築するニューラル推論モデルは、ARCチャレンジセットにおいて既存のQAシステムを上回ることができるか？
• RQ2 構造的表現に基づくグラフベースの推論は、高度な論理的思考と理解を要する質問において、性能をどの程度向上させるか？
• RQ3 現在のQAシステムがARCチャレンジセットで失敗する主な原因は何か。また、知識グラフに基づく構造的推論によってそれらの失敗モードは是正可能か？
• RQ4 知識カバレッジと構文解析品質の向上に伴い、モデルの性能はどの程度スケーリングするか？
• RQ5 知識グラフ上で推論を行う微分可能でエンドツーエンドのフレームワークは、ニューラルQAと人間水準の科学的試験のパフォーマンスの差を埋めるか？

主な発見

• KG²はARCチャレンジセットで31.70のテストスコアを達成し、以前の最先端スコア26.41よりも17.5%向上した。
• バイアスドアフターファイア（BiDAF）（26.54）やTableILP（26.97）といった強力なベースラインをすべて顕著に上回り、グラフベースの推論の有効性を示している。
• ランダムベースラインスコアは25.02であり、これは過去の手法がランダムにわずかに上回っていることを示しており、ARCチャレンジセットの難易度の高さを強調している。
• 分析の結果、50%の質問でコーパス内に十分な支援情報が欠落していることが判明し、知識カバレッジが主なボトルネックであると示唆されている。
• 12%の質問がOpen IEの構文解析エラーにより失敗しており、文レベルの解析精度向上が性能向上に寄与する可能性があることが示唆されている。
• 現在のフレームワーク下で「学習可能」とされる質問はわずか15%にとどまり、すべての学習可能な質問が正しく回答できた場合の上限は約36.25であると推定される。