[論文レビュー] Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval

W. Xiong, Xiang Lorraine Li+9 more|arXiv (Cornell University)|Sep 27, 2020

Topic Modeling参考文献 48被引用数 18

ひとこと要約

本稿では、ハイパーリンクやエンティティマーカーのようなコーパス固有の構造に依存せずに、複数のドキュメントからの証拠を集約する必要がある複雑なオープンドメイン質問に答えられる、シンプルで効率的なフレームワークであるマルチホップ密度検索（MDR）を提案する。MDRはHotpotQAおよびマルチエビデンスFEVERで最先端の性能を達成しており、HotpotQAでは最高の公表済F1スコア79.6％を再現すると同時に、推論時に10倍速い。

ABSTRACT

We propose a simple and efficient multi-hop dense retrieval approach for answering complex open-domain questions, which achieves state-of-the-art performance on two multi-hop datasets, HotpotQA and multi-evidence FEVER. Contrary to previous work, our method does not require access to any corpus-specific information, such as inter-document hyperlinks or human-annotated entity markers, and can be applied to any unstructured text corpus. Our system also yields a much better efficiency-accuracy trade-off, matching the best published accuracy on HotpotQA while being 10 times faster at inference time.

研究の動機と目的

• 複数のドキュメントからの証拠を集約する必要がある複雑なマルチホップオープンドメイン質問に答える課題に対処すること。
• ハイパーリンクやエンティティアノテーションといったコーパス固有の構造に依存する既存手法の限界を克服すること。
• 密度ベクトル表現と反復的検索を活用することで、マルチホップ検索における効率性と精度のトレードオフを改善すること。
• 特別なデータやトレーニングヒューリスティクスを必要とせず、大規模な非構造的テキストコーパス上でスケーラブルかつ汎用的なマルチホップQAを可能にすること。

提案手法

• 各検索ステップが質問と以前に取得したパassageを条件として新たなクエリ表現を生成する再帰的フレームワークを採用する。
• 各ホップで、コーパスの密度表現に対する最大内積検索（MIPS）を実行し、最も関連性の高いパassageを取得する。
• クエリ表現は、元の質問と以前に取得したパassageのテキストを連結することで更新され、その後、事前学習済みのトランスフォーマーモデルによってエンコードされる。
• トレーニング中にバッチ内およびメモリバンクネガティブサンプリングを採用し、密度表現の品質を向上させる。
• 検索プロセスは完全に微分可能であり、エンドツーエンドでトレーニング可能であり、マルチホップ推論チェーンの有効な最適化を可能にする。
• 外部の知識グラフ、エンティティリンキング、ハイパーリンク構造を一切必要としないため、あらゆる非構造的コーパスに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ハイパーリンクやエンティティマーカーのようなコーパス固有の構造に依存せずに、密度検索をマルチホップQAに効果的に拡張できるか？
• RQ2 既存手法と比較して、推論効率を著しく向上させつつも高い精度を維持できるように、反復的密度検索をどのように設計できるか？
• RQ3 質問と取得したパassageを連結するシンプルなクエリ再定式化戦略が、マルチホップQAで最先端の性能を達成できるか？
• RQ4 提案手法が、さまざまなオープンドメインコーパスおよびマルチホップベンチマークにおいて、どの程度一般化可能か？

主な発見

• 提案されたMDR手法はHotpotQAベンチマークで最先端の性能を達成し、最高の公表済F1スコア79.6％を再現するとともに、推論時に10倍速い。
• マルチエビデンスFEVERデータセットでは、従来手法を顕著に上回り、さまざまなマルチホップQA設定における強力な一般化性能を示した。
• ハイパーリンクやエンティティアノテーションといったコーパス固有の情報を利用しなくても、従来のリンク依存型検索アプローチよりも優れた精度を達成した。
• バッチ内およびメモリバンクネガティブサンプリングを活用した強力な事前学習エンコーダーにより、高品質な密度表現が得られ、マルチホップ推論経路を効果的に捉えた。
• 連結によるクエリ再定式化を伴う反復的検索プロセスは、従来の複雑なアテンションベースのクエリ最適化機構よりも効果的であることが示された。
• フレームワークは非常に効率的であり、過去の最先端モデルが予測ごとに何百回も必要としていた大規模言語モデルの呼び出し回数を大幅に削減した。