[論文レビュー] KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning

Bill Yuchen Lin, Xinyue Chen+2 more|arXiv (Cornell University)|Sep 4, 2019

Topic Modeling参考文献 36被引用数 32

ひとこと要約

KagNet は外部知識グラフ（ConceptNet）に QA ペアを根拠付け、スキーマグラフを GCN-LSTM-HPA モジュールでエンコードし、解釈可能なパスと概念レベルの注意を提供することで CommonsenseQA で最先端の結果を達成します。

ABSTRACT

Commonsense reasoning aims to empower machines with the human ability to make presumptions about ordinary situations in our daily life. In this paper, we propose a textual inference framework for answering commonsense questions, which effectively utilizes external, structured commonsense knowledge graphs to perform explainable inferences. The framework first grounds a question-answer pair from the semantic space to the knowledge-based symbolic space as a schema graph, a related sub-graph of external knowledge graphs. It represents schema graphs with a novel knowledge-aware graph network module named KagNet, and finally scores answers with graph representations. Our model is based on graph convolutional networks and LSTMs, with a hierarchical path-based attention mechanism. The intermediate attention scores make it transparent and interpretable, which thus produce trustworthy inferences. Using ConceptNet as the only external resource for Bert-based models, we achieved state-of-the-art performance on the CommonsenseQA, a large-scale dataset for commonsense reasoning.

研究の動機と目的

• 外部知識グラフを活用して機械的常識推論を動機づけ、明示的で説明可能な推論を実現する。

提案手法

• QA ペアを ConceptNet から関連知識を表すスキーマグラフへ grounding する。
• 多段階の関係情報を捉えるため、GCN-LSTM-HPA アーキテクチャでスキーマグラフをエンコードする。
• パスと概念ペアの妥当性スコアリングのために、階層的なパスベースのアテンション機構を用いて重み付けする。
• スキーマグラフの関係表現と言語エンコーダの特徴を組み合わせて、ニューラルスコアラーを介して妥当性スコアを算出する。
• 知識認識型常識推論研究を可能にする KagNet のオープンソース実装。

実験結果

リサーチクエスチョン

• RQ1 外部で構造化された知識グラフは、常識QAにおける性能と解釈性を改善できるか？
• RQ2 グラフベースのモジュールは、質問と回答の概念間の関係パスをどのように効果的にモデル化できるか？
• RQ3 QAペアを知識グラフに grounding し、階層的なアテンションを適用することで、透明性のある推論と精度の向上が得られるか？
• RQ4 事前学習済み言語エンコーダとともに ConceptNet を唯一の外部リソースとして使用することが CommonsenseQA に与える影響は何か？

主な発見

モデル	OFdev-精度(%)	OFtest-精度(%)
ランダム推測	20.0	20.0
Gpt-FineTuning	-	45.5
Bert-Base-FineTuning	53.57	53.0
Bert-Large-FineTuning	62.34	56.7
CoS-E (w/ additional annotations)	-	58.2
KagNet (Ours)	64.46	58.9
BIDAF++	-	32.0
QACompare+Glove	-	25.7
QABLinear+Glove	-	31.5
Esim+Elmo	-	32.8
Esim+Glove	-	34.1
KagNet (Ours)	64.46	58.9
Human Performance	-	88.9

• 公式スプリットを用いた場合、知識非依存ベースラインおよび多くの知識対応ベースラインと比較して CommonsenseQA で最先端の結果を達成。
• KagNet は、低データ設定を含むさまざまなデータレジームで、非 KagNet の言語ベースラインより精度を向上させる。
• アブレーション研究は、提案手法の GCN-LSTM-HPA アーキテクチャが伝統的な関連グラフ畳み込みネットワークより優れており、パスと QA ペアレベルのアテンションが性能を改善することを示している。
• ConceptNet での grounding と KG 埋め込みによるパス剪定は、有益なスキーマパスを保持しつつノイズを効果的に削減する。
• 階層的アテンションは解釈可能な中間スコアを生み出し、影響力のある概念ペアとパスの検査を可能にする。