[論文レビュー] Retrieve, Rerank, Read, then Iterate: Answering Open-Domain Questions of Arbitrary Complexity from Text.

Peng Qi, Haejun Lee+2 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 26被引用数 10

ひとこと要約

本論文は、市販の検索システムと生テキストのみを用いて、任意の複雑さのオープンドメイン質問に答えられる統合的で反復的なリtrieval増強生成フレームワークを提案する。単一のマルチタスクモデルを用いて、反復的に関連する証拠を検索・再順序付け・読み込みを行い、単一ホップおよびマルチホップのベンチマークの両方で最先端のシステムを上回る性能を発揮する。また、Wikipediaに基づく新しい3ホップのベンチマークでも評価されている。

ABSTRACT

Current approaches to open-domain question answering often make crucial assumptions that prevent them from generalizing to real-world settings, including the access to parameterized retrieval systems well-tuned for the task, access to structured metadata like knowledge bases and web links, or a priori knowledge of the complexity of questions to be answered (e.g., single-hop or multi-hop). To address these limitations, we propose a unified system to answer open-domain questions of arbitrary complexity directly from text that works with off-the-shelf retrieval systems on arbitrary text collections. We employ a single multi-task model to perform all the necessary subtasks---retrieving supporting facts, reranking them, and predicting the answer from all retrieved documents---in an iterative fashion. To emulate a more realistic setting, we also constructed a new unified benchmark by collecting about 200 multi-hop questions that require three Wikipedia pages to answer, and combining them with existing datasets. We show that our model not only outperforms state-of-the-art systems on several existing benchmarks that exclusively feature single-hop or multi-hop open-domain questions, but also achieves strong performance on the new benchmark.

研究の動機と目的

• 専用の検索システムや構造化されたメタデータ、質問の複雑さに関する事前知識に依存する既存のオープンドメインQAシステムの限界を是正すること。
• 非構造化テキストコレクションから直接、任意の複雑さの質問を処理できる汎用フレームワークを開発すること。
• パrameter化された検索モデルやキュレート済みの知識ベースへの依存を排除し、市販の検索システムのみに依存すること。
• 検索・再順序付け・読解のサブタスクを、単一のマルチタスクモデルを用いた反復的プロセスに統合すること。
• 現実の複雑さを模倣するため、複雑で3ホップのWikipediaベースの質問から構成される新しいベンチマークを用いてシステムを評価すること。

提案手法

• 検索・再順序付け・読解を順次実行する反復的プロセスを採用し、各ステップで次のステップの入力を精錬する。
• 単一のマルチタスクモデルを訓練して、関連する証拠文書を検索し、それらを再順序付けし、取得した文書から答えを予測する。
• 閉ループ形式で動作するため、答え生成の前に、支持証拠の集合を複数の反復で精錬できる。
• 任意の市販の検索システムと非構造化テキストコレクションと互換性を持たせ、微調整された検索コンponentを必要としない。
• トレーニングデータには、答えを導くために最大3つのWikipediaページを必要とする質問が含まれており、現実的なマルチホップ推論を模倣するように構築されている。
• 知識ベースやWebリンクなどの構造化されたメタデータへのアクセスを一切不要とし、非構造化テキストにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 専用の検索システムに依存せずに、任意の複雑さのオープンドメイン質問を効果的に処理できる統合的でエンドツーエンドでトレーニング可能なモデルは可能か？
• RQ2 単一のマルチタスクモデルが、単一ホップおよびマルチホップQAベンチマークを同時に学習した場合、その性能はどの程度か？
• RQ3 反復的検索・読解プロセスは、複雑なマルチホップ質問の答えの正確性をどの程度向上させられるか？
• RQ4 3つの証拠文書を必要とするような、2つを超えるサポートドキュメントを要する質問に対して、システムはどの程度一般化できるか？
• RQ5 構造化されたメタデータにアクセスできない状況でも、3ホップのWikipedia質問の新しいベンチマークで優れた性能を達成できるか？

主な発見

• 提案されたモデルは、単一ホップまたはマルチホップの質問を含む既存のベンチマークで、最先端のシステムを上回る性能を発揮した。
• 新たに構築された200件の3ホップ質問（3つのWikipediaページが必要）からなるベンチマークでも、強力な性能を発揮した。
• 反復的でマルチタスクのフレームワークにより、パrameter化された検索システムにアクセスせずに、長大な証拠の連鎖を効果的に処理できるようになった。
• 質問の複雑さのレベルにかかわらず、システムは良好に一般化し、オープンドメイン環境での頑健性を示した。
• 微調整を行わない市販の検索システムを用いることで、多様で現実世界のテキストコレクションへの展開が可能になった。
• 統合されたアーキテクチャにより、タスク固有のコンponentへの依存が軽減され、展開の簡素化と適応性の向上が達成された。