[論文レビュー] Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering

Yanlin Feng, Xinyue Chen+4 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 38被引用数 26

ひとこと要約

本稿では、知識グラフ上の多ホップ関係的推論を知識認識型質問応答で実行するために、グラフニューラルネットワークと構造的関係的アテンションを組み合わせたスケーラブルで解釈可能な手法、マルチホップグラフ関係ネットワーク（MHGRN）を提案する。MHGRNは、推論経路を明示的にモデル化しながらも、経路長に対して線形スケーラビリティを維持することで、CommonsenseQAおよびOpenbookQAで最先端の性能を達成する。

ABSTRACT

Existing work on augmenting question answering (QA) models with external knowledge (e.g., knowledge graphs) either struggle to model multi-hop relations efficiently, or lack transparency into the model's prediction rationale. In this paper, we propose a novel knowledge-aware approach that equips pre-trained language models (PTLMs) with a multi-hop relational reasoning module, named multi-hop graph relation network (MHGRN). It performs multi-hop, multi-relational reasoning over subgraphs extracted from external knowledge graphs. The proposed reasoning module unifies path-based reasoning methods and graph neural networks to achieve better interpretability and scalability. We also empirically show its effectiveness and scalability on CommonsenseQA and OpenbookQA datasets, and interpret its behaviors with case studies.

研究の動機と目的

• 知識グラフ上の多ホップ推論に依存する既存の知識認識型質問応答モデルにおける解釈不能性とスケーラビリティの欠如を解決すること。
• パスベースモデル（例：指数的パス爆発）およびGNN（例：解釈不能性）の限界を克服するため、両者の長所を統合すること。
• 構造的関係的アテンションを用いた単一層のメッセージパッシング機構により、効率的でスケーラブルかつ透明な多ホップ関係的推論を可能にすること。
• 明示的な推論経路が、常識的推論タスクにおけるモデルの信頼性と性能を向上させることを実証すること。

提案手法

• 構造的関係的アテンションを用いて1層で多ホップメッセージパッシングを実行する、新規なグラフ符号化アーキテクチャ、マルチホップグラフ関係ネットワーク（MHGRN）を提案する。
• 関係タイプの情報を保持しながら多ホップの近隣ノードにアテンションを向ける構造的関係的アテンション機構を導入し、解釈可能な推論経路を可能にする。
• すべてのKホップ近隣ノードからの情報集約を1層の操作として定式化することで、再帰的計算を回避し、ホップ数Kに対して線形スケーラビリティを保証する。
• アテンション重みから推論経路をデコードするトレーニングおよび推論アルゴリズムを設計し、モデルの解釈可能性を実現する。
• 事前学習済み言語モデル（PTLM）とMHGRNを統合し、テキストエンコーダーとグラフエンコーダーを同時に微調整することで、エンドツーエンドの知識認識型QAを実現する。
• 推論範囲を制限し効率を向上させるために、質問および回答エンティティの周囲から外部知識グラフ（例：ConceptNet）から部分グラフを抽出する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークアーキテクチャは、知識認識型質問応答における多ホップ関係的推論において、スケーラビリティと解釈可能性の両方を達成できるか？
• RQ2 明示的な多ホップ推論経路の導入は、ブラックボックスGNNやパスベースモデルと比較して、モデルの性能と信頼性にどのように影響するか？
• RQ3 知識認識型QAにおける最適なホップ数（K）は何か？また、Kの増加に伴いモデル性能はどのように変化するか？
• RQ4 異なるデータレジームにおいて、MHGRNは知識無視型微調整および他のグラフ符号化手法をどの程度上回るか？
• RQ5 人間の論理的思考に類似した関係的経路として抽出された推論プロセスは、モデルの動作を効果的に解釈可能にできるか？

主な発見

• MHGRNは、CommonsenseQA（IHTestで78.9％）およびOpenbookQA（IHTestで71.2％）で最先端の正確度を達成し、知識無視型微調整および他のグラフ符号化ベースラインを顕著に上回る。
• テストされたすべてのデータ分率において、MHGRNは知識無視型微調整に対して一貫した性能向上を示し、テキストエンコーダーとグラフエンコーダーの相乗効果が強いことを示している。
• CommonsenseQAではK=4ホップで最適な性能が達成され、K>4では長い関係的経路に伴うノイズ増加により性能が低下する。
• MHGRNはホップ数Kに対して線形スケーラビリティを示しており、理論的複雑度が高いためRGCNよりもやや高いが、学習時間は約2倍にしか増加しない。
• 事例研究により、MHGRNは質問エンティティと回答エンティティを意味的に意味のある関係を通じて結ぶ整合性のある、人間が解釈可能な推論経路を生成することが確認された。
• アブレーションスタディにより、構造的関係的アテンション機構とノードタイプの区別が両方とも重要であり、それぞれが性能向上にほぼ同等の寄与をしていることが示された。