[論文レビュー] SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning

Mattia Atzeni, Jasmina Bogojeska+1 more|arXiv (Cornell University)|Oct 27, 2021

Advanced Graph Neural Networks被引用数 4

ひとこと要約

SQALERは、マルチホップ推論と論理的推論を分離することで、関係タイプの数に線形にスケーリングする知識ベースの質問応答（KBQA）のための二段階的手法を提案する。関係タイプの数に比例してスケーリングするため、エッジやノードの数に比例する既存手法と比較して、WebQuestionsSPで最先端の性能を達成するとともに、数百万のエンティティを含む実世界の知識グラフへの応用が可能になる。また、学習分布外の質問に対しても構成的汎化を実現する。

ABSTRACT

State-of-the-art approaches to reasoning and question answering over knowledge graphs (KGs) usually scale with the number of edges and can only be applied effectively on small instance-dependent subgraphs. In this paper, we address this issue by showing that multi-hop and more complex logical reasoning can be accomplished separately without losing expressive power. Motivated by this insight, we propose an approach to multi-hop reasoning that scales linearly with the number of relation types in the graph, which is usually significantly smaller than the number of edges or nodes. This produces a set of candidate solutions that can be provably refined to recover the solution to the original problem. Our experiments on knowledge-based question answering show that our approach solves the multi-hop MetaQA dataset, achieves a new state-of-the-art on the more challenging WebQuestionsSP, is orders of magnitude more scalable than competitive approaches, and can achieve compositional generalization out of the training distribution.

研究の動機と目的

• 大規模な知識グラフ（KG）上で、エッジやノードの数に伴い性能が著しく低下する既存のニューラル手法のスケーラビリティのボトルネックを解消すること。
• マルチホップ推論と論理的推論を分離しても表現力に損なわれず、効率的かつスケーラブルなKBQAを実現できることを示すこと。
• 関係タイプの数に線形にスケーリングする手法を開発し、通常はエッジやノードの数よりもはるかに少ない関係タイプの数に依存することで、数百万のエンティティを含む実世界のKGへの応用を可能にすること。
• 既知の推論パターンを組み合わせることで、学習時に見られなかった質問に対しても正しく応答できる、構成的汎化を実現すること。

提案手法

• 関係タイプごとにエッジを統合したコalescedグラフ上で動作する関係レベルのモデルφを用いる。これにより、エッジやノードの数ではなく関係タイプの数に比例した複雑さに抑えられ、スケーリングが向上する。
• 関係レベルのモデルは、質問に登場するエンティティから出発し、関係のチェーンを用いてマルチホップ推論を実行し、候補となる答えの集合˜AQを生成する。これにより、真の答えはすべて˜AQに含まれる。
• その後、候補答えを中心にした局所的サブグラフG(˜AQ)上でエッジレベルのモデルψを適用し、論理的推論を用いて答えを精査し、正確な答え集合AQを回復する。
• コalescedグラフは学習前一度だけ事前計算され、線形コストに留まり、関係レベルのモデルの効率的な学習と推論を可能にする。
• エッジレベルのモデルは候補集合˜AQからのみ答えを選択することを制約しており、正しさと効率性を保証する。
• 理論的根拠として、表現力と計算複雑度の観点から、二段階のプロセスがいかなるKBQA問題も解ける能力を保持していることを示している。

実験結果

リサーチクエスチョン

• RQ1 KBQAにおけるマルチホップ推論と論理的推論は、表現力や性能を損なわずに分離可能か？
• RQ2 エッジやノードの数ではなく関係タイプの数にスケーリングすることで、大規模な実世界の知識グラフへのKBQAの実用的応用が可能になるか？
• RQ3 まず関係的チェーンで候補を生成し、次に局所的論理的推論で精査する二段階的手法は、エンドツーエンドモデルに比べてより優れた汎化性能を示すか？
• RQ4 この手法は、学習分布外の質問に対し、どの程度構成的に汎化できるか？

主な発見

• SQALERは、挑戦的なWebQuestionsSPデータセットで新たな最先端性能を達成し、既存手法を上回った。
• 競合手法と比較して、スケーリングの程度が数個のオーダーも向上し、数百万のエンティティを含む知識グラフに対しても効果的な推論が可能になった。
• 関係レベルのモデル単体でもMetaQAで強力な性能を示しており、単純な質問に対しては関係的チェーンによるマルチホップ推論が十分であることが確認された。
• WebQuestionsSPの複雑な質問では、関係のシーケンスだけでは正解を特定できないため、エッジレベルのモデルが不可欠であることが示された。
• 関係的コalescingにより、経路数が最大で2桁減少し、メモリと計算コストが顕著に低減された。
• モデルは構成的汎化を実現し、学習時に存在しなかった組み合わせの既知の推論パターンを新規に組み合わせた質問に対しても正しく応答できた。