[論文レビュー] A Complex KBQA System using Multiple Reasoning Paths

Kechen Qin, Yu Wang+5 more|arXiv (Cornell University)|May 22, 2020

Natural Language Processing Techniques参考文献 22被引用数 5

ひとこと要約

本論文は、パスのアノテーションを必要とせず、複数の推論経路を活用するエンドツーエンドのKBQAシステムを提案する。パスを潜在変数としてモデル化し、マージナライズド確率目的関数を最適化することで、WQSP、CWQ、PQLの複数のベンチマークで、特に多ホップで複雑な質問に対して、単一パスベースラインを上回る優れた性能を達成する。

ABSTRACT

Multi-hop knowledge based question answering (KBQA) is a complex task for natural language understanding. Many KBQA approaches have been proposed in recent years, and most of them are trained based on labeled reasoning path. This hinders the system's performance as many correct reasoning paths are not labeled as ground truth, and thus they cannot be learned. In this paper, we introduce an end-to-end KBQA system which can leverage multiple reasoning paths' information and only requires labeled answer as supervision. We conduct experiments on several benchmark datasets containing both single-hop simple questions as well as muti-hop complex questions, including WebQuestionSP (WQSP), ComplexWebQuestion-1.1 (CWQ), and PathQuestion-Large (PQL), and demonstrate strong performance.

研究の動機と目的

• 既存のKBQAシステムが単一でアノテートされた推論経路に依存するという限界を是正すること。このアプローチは、有効な代替経路を逃すことがある。
• パスのアノテーションを一切不要とし、質問-回答ペアとエンティティリンクのみを用いたエンドツーエンド学習を可能とすること。
• 多様で高品質な推論経路から学習することで、複雑な多ホップ質問に対する一般化性能とロバストネスを向上させること。
• 推論経路を潜在変数としてモデル化し、学習および推論時により高品質な経路に高い確率を割り当てる。
• 複数の経路を統合的に最適化し、フィルタリングと相互情報量の最大化を組み合わせることで、優れた性能が得られることを示すこと。

提案手法

• 推論経路を潜在変数としてモデル化し、知識ベースから得られるすべての可能な経路を同時に最適化するため、マージナライズド確率目的関数を用いる。
• 訓練中に微分可能かつ効率的な推論機構を採用し、無効または低品質な経路（例：答えの集合が非常に大きい、意味が解釈できないチェーン）をフィルタリングする。
• 答えの集合サイズと一貫性に基づくフィルタリング戦略を採用し、図1のp⁷のような経路のように、範囲が広すぎたり一貫性がなかったりする経路を除外する。
• 尤度の最大化ではなく、質問と予測された答えの間の条件付き相互情報量を最大化することで、強い事前分布（例：ベンジャミン・フランクリン → 発明品）によるバイアスを低減する。
• アーキテクチャに依存しない手法であり、任意のKBQAモデルに統合可能で、複数経路推論により性能を向上可能。
• 推論時、多様な推論経路を出力し、より優れた経路に高い確率を割り当てつつ、他の有効な経路に対しても妥当なスコアを維持する。

実験結果

リサーチクエスチョン

• RQ1 パスのアノテーションを必要とせず、複数の推論経路を活用することで、複雑で多ホップな質問に対して、より高い性能を達成できるか？
• RQ2 最終的な答えのみが監視対象である状況で、高品質な経路と低品質な経路を効果的に区別できるか？
• RQ3 尤度の最大化ではなく条件付き相互情報量の最大化を採用することで、強いエンティティ事前分布からのバイアスを低減し、一般化性能を向上できるか？
• RQ4 無効または極端に広い推論経路をフィルタリングすることで、モデルのロバストネスと正確性がどの程度向上するか？
• RQ5 マージナライズド確率目的関数により、エンドツーエンド学習が可能となり、多様な推論パターンを捉えつつも、高い性能を維持できるか？

主な発見

• すべてのフィルタリングを適用しない経路（k₂ = ∞）で学習した場合、F1スコアが3.4%低下することから、低品質な経路を除外するための経路フィルタリングの必要性が示された。
• 尤度の最大化ではなく条件付き相互情報量の最大化を採用した場合、1.8%の性能向上が得られ、特に強いエンティティ事前分布（例：ベンジャミン・フランクリンと結婚）を持つ質問の予測精度が向上した。
• 提案されたマージナライズド目的関数を用いた複数入力経路のアプローチは、単一パス学習と比較して、より鋭い確率分布を生成した一方で、推論時に経路の多様性を維持できた。
• アブレーションスタディにおいて、統合的目的関数と複数経路を用いたモデルは、複数の正しい経路に妥当な確率を割り当てたのに対し、単一パスモデルは確率を一つの経路に集中させた。
• 本システムは、WQSP、CWQ、PQLの3つのベンチマークデータセットすべてでベースラインを上回り、特に単一の経路を超える推論を要する複雑な多ホップ質問に対して顕著な優位性を示した。
• パスのアノテーションを一切必要としないため、そのようなアノテーションが高コストである現実世界の展開においても実用的である。