[論文レビュー] KQA Pro: A Large Diagnostic Dataset for Complex Question Answering over Knowledge Base.

Jiaxin Shi, Shulin Cao+6 more|arXiv (Cornell University)|Jul 8, 2020

Topic Modeling参考文献 22被引用数 12

ひとこと要約

KQA Pro は、知識ベース上で120K件の複雑な質問応答インスタンスを含む大規模で多様なデータセットであり、再帰的テンプレートとクラウドソーシングによる言い換えによって生成され、推論をモデル化するための関連する SPARQL クエリおよび機能的プログラムを備えている。SOTA モデルでさえ 35.15% の正確度にとどまっている一方で、人間のパフォーランスは 97.5% に達しており、KBQA における構成的推論の分野における大幅な改善余地が示唆されている。

ABSTRACT

Complex question answering over knowledge base (Complex KBQA) is challenging because it requires the compositional reasoning capability. Existing benchmarks have three shortcomings that limit the development of Complex KBQA: 1) they only provide QA pairs without explicit reasoning processes; 2) questions are either generated by templates, leading to poor diversity, or on a small scale; and 3) they mostly only consider the relations among entities but not attributes. To this end, we introduce KQA Pro, a large-scale dataset for Complex KBQA. We generate questions, SPARQLs, and functional programs with recursive templates and then paraphrase the questions by crowdsourcing, giving rise to around 120K diverse instances. The SPARQLs and programs depict the reasoning processes in various manners, which can benefit a large spectrum of QA methods. We contribute a unified codebase and conduct extensive evaluations for baselines and state-of-the-arts: a blind GRU obtains 31.58\%, the best model achieves only 35.15\%, and humans top at 97.5\%, which offers great research potential to fill the gap.

研究の動機と目的

• 複雑な知識ベース質問応答（KBQA）の分野において、大規模で多様かつ推論トレースが付与されたデータセットの不足に対処すること。
• 既存のベンチマークに見られる制限、例えば明示的な推論プロセスの欠如、質問の多様性の低さ、エンティティ属性の考慮不足を克服すること。
• コンポジショナル KBQA 分野における研究の標準化と前進を図るため、統一されたコードベースと包括的な評価スイートを提供すること。
• 知識ベース上で複数ホップ推論、属性推論、複雑なクエリ構成を処理できるモデルの開発を可能にすること。

提案手法

• 構造的多様性と構成的複雑性を保証するために、再帰的テンプレートを用いて質問と SPARQL クエリを生成する。
• クラウドソーシングによる言い換えによって生成された質問の言語的多様性を高めつつ、意味的・論理的構造を維持する。
• 各質問に対して明示的な推論経路を表す関数的プログラムと SPARQL クエリを構築する。
• 知識ベーススキーマと質問生成に属性を含めることで、関係的および属性ベースの推論の両方をカバーする。
• 同じベンチマーク上で多様な KBQA モデルの学習・評価・比較を可能にする統一されたコードベースを設計する。
• モデルの解釈可能性と学習を向上させるために、1つの質問に対して複数の推論トレース（SPARQL と関数的プログラム）を含むようにデータセットを構造化する。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様かつ推論トレースがアノテートされたデータセットは、複雑な KBQA モデルのパフォーマンスと一般化性能を向上させることができるか？
• RQ2 現在のモデルは、複雑な KBQA においてどの程度構成的推論と属性ベースのクエリを利用しているか？
• RQ3 質問における言語的多様性は、KBQA におけるモデルの頑健性と一般化性能にどのように影響するか？
• RQ4 SOTA モデルと人間のパフォーランスの間には、複雑な KBQA タスクでどの程度のギャップが存在するか？
• RQ5 関数的プログラムと SPARQL クエリを推論の監視情報として含めることで、モデルの学習と解釈可能性が著しく向上するか？

主な発見

• KQA Pro データセットには、約 120,000 件の多様で人間が言い換えた質問-回答ペアが含まれており、明示的な推論トレースが付与されている。
• ブラインドな GRU ベースラインは 31.58% の正確度を達成しており、新しいベンチマークにおけるベースライン性能を示している。
• 最高性能を発揮したモデルでも 35.15% の正確度にとどまっていることから、人間レベルのパフォーマンスとの顕著なギャップが明らかになった。
• 人間のパフォーマンスは 97.5% に達しており、複雑な KBQA が依然として挑戦的なタスクであり、大幅な改善余地があることを示している。
• SPARQL と関数的プログラムを推論アノテーションとして含めることで、KBQA モデルの解釈可能性と学習のための監視情報が向上した。
• データセットの多様性と推論トレースは、ニューラルネットワーク、記号的推論、ハイブリッドアーキテクチャに基づく多様な QA 方法を支援する。