[論文レビュー] Graph-Based Reasoning over Heterogeneous External Knowledge for Commonsense Question Answering

Shangwen Lv, Daya Guo+8 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 29被引用数 21

ひとこと要約

本稿では、ConceptNetからの構造的知識とWikipediaからの非構造的テキストを統合して、常識的質問応答を向上させるグラフベースの推論フレームワークを提案する。異種の知識グラフを構築し、グラフ畳み込みネットワークとグラフアテンション機構を用いることで、CommonsenseQAデータセット上で75.3%の最先端の正確度を達成した。これは、構造的グラフ推論を通じて多様な知識源を統合する有効性を示している。

ABSTRACT

Commonsense question answering aims to answer questions which require background knowledge that is not explicitly expressed in the question. The key challenge is how to obtain evidence from external knowledge and make predictions based on the evidence. Recent works either learn to generate evidence from human-annotated evidence which is expensive to collect, or extract evidence from either structured or unstructured knowledge bases which fails to take advantages of both sources. In this work, we propose to automatically extract evidence from heterogeneous knowledge sources, and answer questions based on the extracted evidence. Specifically, we extract evidence from both structured knowledge base (i.e. ConceptNet) and Wikipedia plain texts. We construct graphs for both sources to obtain the relational structures of evidence. Based on these graphs, we propose a graph-based approach consisting of a graph-based contextual word representation learning module and a graph-based inference module. The first module utilizes graph structural information to re-define the distance between words for learning better contextual word representations. The second module adopts graph convolutional network to encode neighbor information into the representations of nodes, and aggregates evidence with graph attention mechanism for predicting the final answer. Experimental results on CommonsenseQA dataset illustrate that our graph-based approach over both knowledge sources brings improvement over strong baselines. Our approach achieves the state-of-the-art accuracy (75.3%) on the CommonsenseQA leaderboard.

研究の動機と目的

• 異種の知識源からの自動抽出による証拠を用いて、常識的質問応答の課題に取り組むこと。
• 構造的知識（ConceptNet）と非構造的テキスト（Wikipedia）を統合的に活用することで、推論性能を向上させること。
• 関係性の構造を捉え、証拠集約を支援するグラフベースの表現・推論フレームワークを開発すること。
• グラフ推論を通じて複数の知識源を統合することで、単一ソースや非グラフベースのベースラインを上回る性能が得られることを示すこと。

提案手法

• 意味的役割ラベル付け（SRL）を用いて、ConceptNetからグラフパスを抽出し、Wikipediaから三項節を抽出して知識グラフを構築する。
• グラフ構造的情報を用いて単語間の距離を再定義する、グラフベースの文脈的単語表現学習モジュールを設計する。
• 近隣情報のノード表現へのエンコードに、グラフ畳み込みネットワーク（GCN）を適用する。
• 複数のノードからの証拠集約のため、グラフアテンション機構を統合する。
• XLNetをバックボーン言語モデルとし、CommonsenseQAデータセット上でエンドツーエンドに全システムを微調整する。
• ノードが概念を表し、エッジが両方のソースからの関係を表す異種グラフを構築し、マルチホップ推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 構造的知識と非構造的テキストの両方を統合的に活用することで、常識的質問応答の性能が向上するか？
• RQ2 グラフベースの表現学習は、知識推論の文脈における文脈的単語表現をどのように向上させるか？
• RQ3 グラフアテンションは、非グラフまたはアテンションなしの手法と比較して、証拠集約をどの程度改善するか？
• RQ4 ConceptNetとWikipediaの両方の知識を統合することで、単独で使用する場合よりも性能が向上するか？

主な発見

• 提案モデルは、CommonsenseQAベンチマークで75.3%の最先端の正確度を達成し、強力なベースラインを上回った。
• グラフベースの文脈的表現学習モジュールは、知識グラフ内の関係的依存性をより良く捉えることで性能を向上させた。
• GCNとグラフアテンションを備えたグラフベースの推論モジュールは、マルチホップ証拠の集約により、推論正確度を顕著に向上させた。
• ConceptNetとWikipediaの両方からの証拠統合は、さらなる性能向上をもたらし、異種知識ソースの相補性を示した。
• 誤り分析の結果、38%の誤りが曖昧または類似しすぎる証拠に起因しており、より豊富な知識ソースやより優れた意味あいまい除去技術の導入により改善の余地があることが示された。