[論文レビュー] End-to-End Multihop Retrieval for Compositional Question Answering over Long Documents

Haitian Sun, William W. Cohen+1 more|arXiv (Cornell University)|Jun 1, 2021

Topic Modeling参考文献 17被引用数 9

ひとこと要約

この論文では、クエリ埋め込みと取得された段落／文の表現を数値的に組み合わせることで、長文書から段階的に証拠を取得・精錬するエンドツーエンド微分可能なマルチホップ検索モデルであるDocHopperを紹介する。本モデルは、長文書上での合成的QAタスク3つにおいて最先端の性能を達成しており、従来手法に比べて推論速度が3–10倍速い。

ABSTRACT

Answering complex questions from long documents requires aggregating multiple pieces of evidence and then predicting the answers. In this paper, we propose a multi-hop retrieval method, DocHopper, to answer compositional questions over long documents. At each step, DocHopper retrieves a paragraph or sentence embedding from the document, mixes the retrieved result with the query, and updates the query for the next step. In contrast to many other retrieval-based methods (e.g., RAG or REALM) the query is not augmented with a token sequence: instead, it is augmented by numerically combining it with another neural representation. This means that model is end-to-end differentiable. We demonstrate that utilizing document structure in this was can largely improve question-answering and retrieval performance on long documents. We experimented with DocHopper on three different QA tasks that require reading long documents to answer compositional questions: discourse entailment reasoning, factual QA with table and text, and information seeking QA from academic papers. DocHopper outperforms all baseline models and achieves state-of-the-art results on all datasets. Additionally, DocHopper is efficient at inference time, being 3~10 times faster than the baselines.

研究の動機と目的

• 長文書から証拠を集約する必要がある複雑な合成的質問に応える課題に対処すること。
• 微分可能で反復的な検索フレームワークを用いて、文書構造を活用することで検索および質問応答性能を向上させること。
• トークンベースのクエリ拡張を回避する手法を設計し、エンドツーエンド学習と高速な推論を実現すること。
• RAG や REALM などの既存の検索ベースのモデルを、長文書QAベンチマークで上回ること。

提案手法

• DocHopperは、長文書から段落または文の埋め込みを段階的に取得することでマルチホップ検索を実行する。
• 各ステップで、取得された表現を現在のクエリ埋め込みと数値的に組み合わせ、次のホップ用にクエリを更新する。
• クエリの更新は、トークン列の拡張を避ける微分可能なニューラル演算によって達成される。
• モデルはエンドツーエンドで訓練され、検索および推論コンポーネントを貫いて勾配が流れ込むようにする。
• 文書構造が明示的に活用され、検索をガイドし、証拠集約を向上させる。
• クエリと文書セグメントの両方に対して密なベクトル表現を用いることで、連続空間における意味的マッチングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的またはトークン拡張ベースのベースラインと比較して、微分可能でエンドツーエンドのマルチホップ検索フレームワークは、長文書上での合成的質問応答を改善できるか？
• RQ2 埋め込み混合による数値的クエリ精錬の使用は、検索および推論性能の向上にどの程度効果的か？
• RQ3 文書構造を活用することで、長文脈QAにおける証拠取得および回答予測の精度はどの程度向上するか？
• RQ4 このような手法は、高い推論効率を維持しながら最先端の結果を達成できるか？

主な発見

• DocHopperは、ディコーススエンタイルメント推論、表とテキストを併用した事実QA、学術論文からの情報探索QAという3つの異なる長文書QAタスクで最先端の性能を達成した。
• RAG や REALM などの強力なベースラインと比較して、全評価データセットで優れた性能を示した。
• DocHopperは、ベースラインモデルと比較して3–10倍速い推論速度を示し、実用上非常に効率的であることがわかった。
• 微分可能で埋め込みベースのクエリ精錬の使用により、証拠集約と回答精度が向上した。
• 反復的検索を用いて文書構造を活用することで、検索およびQA性能が顕著に向上した。
• モデルのエンドツーエンド微分可能性により、検索および推論コンポーネントの有効な共同最適化が可能になった。