[論文レビュー] Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering

Gautier Izacard, Édouard Grave|arXiv (Cornell University)|Jul 2, 2020

Topic Modeling被引用数 9

ひとこと要約

この論文では、質問と複数の取得されたウィキペディアの記事からなるリトリーブ・アンガゲレーテッド生成アプローチを提案し、質問に応じて複数のリトリーブ済み記事を入力として、シーケンス・ツー・シーケンスモデルが答えを生成する。この手法はNaturalQuestionsおよびTriviaQAで最先端の結果を達成しており、リトリーブ済み記事の数が増えるほど性能が著しく向上し、複数の記事からの証拠を統合する生成モデルの有効性を示している。

ABSTRACT

Generative models for open domain question answering have proven to be competitive, without resorting to external knowledge. While promising, this approach requires to use models with billions of parameters, which are expensive to train and query. In this paper, we investigate how much these models can benefit from retrieving text passages, potentially containing evidence. We obtain state-of-the-art results on the Natural Questions and TriviaQA open benchmarks. Interestingly, we observe that the performance of this method significantly improves when increasing the number of retrieved passages. This is evidence that generative models are good at aggregating and combining evidence from multiple passages.

研究の動機と目的

• 大規模な生成モデルが外部知識をリトリーブによって活用することで、オープンドメイン質問応答に有益であるかどうかを調査すること。
• 数十億パラメータを持つモデルのトレーニングおよびクエリ処理にかかる高コストを、外部リトリーブを組み込むことで軽減すること。
• 複数のリトリーブ済み記事からの証拠を統合するシーケンス・ツー・シーケンスモデルの有効性を評価すること。
• 標準ベンチマーク上で、リトリーブ・アンガゲレーテッド生成モデルと抽出型およびクローズド・ブック生成ベースラインとの性能を比較すること。

提案手法

• データセットに応じて、BM25または密度型リトリーブ（DPR）を用いて、最大100件のウィキペディア記事をリトリーブする。
• 微調整されたT5ベースのシーケンス・ツー・シーケンスモデルが、質問とリトリーブ済み記事を入力として答えを生成する。
• 記事は250語素に切り詰められ、生成モデルの入力トークンとして連結される。
• 最適化にはAdamを用い、一定の学習率10^-4と10%のドロップアウトを設定し、バッチサイズ64で10,000ステップのトレーニングを実施する。
• 推論時、答えの生成にはグリーディデコードが用いられ、結果は小文字に変換し、句読点と余分な空白を除去することで正規化される。
• NaturalQuestions、TriviaQA、SQuADでアプローチを評価し、トレーニング時およびテスト時のリトリーブ記事数に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 オープンドメイン質問応答のための生成モデルが、ウィキペディアから外部証拠をリトリーブすることで、より高い性能を達成できるか？
• RQ2 リトリーブ済み記事の数が、複数記事QAにおける生成モデルの性能にどのように影響するか？
• RQ3 複数のリトリーブ済み記事を統合することで、抽出型モデルと比較して、証拠の統合がより良くなるか？
• RQ4 少ない記事でトレーニングし、100件の記事でファインチューニングすることで、計算コストを削減しつつ高い精度を維持できるか？
• RQ5 精度とスケーラビリティの観点から、リトリーブ・アンガゲレーテッド生成モデルは、クローズド・ブック生成モデルおよび抽出型手法と比較してどのように差がつくか？

主な発見

• Fusion-in-Decoder手法は、NaturalQuestionsの開発セットで46.5%のExact Matchという最先端の結果を達成し、抽出型およびクローズド・ブック生成モデルを上回った。
• TriviaQAでは64.7%のExact Matchを達成し、挑戦的なオープンドメインベンチマークで優れた性能を示した。
• リトリーブ済み記事の数を10から100に増やした際、TriviaQAで6ポイント、NaturalQuestionsで3.5ポイントの性能向上が見られた。
• 25件の記事でのトレーニングと100件でのファインチューニングにより、GPUトレーニング時間が425時間から147時間に削減されたが、NaturalQuestionsでは46.0%のEMを維持した。
• 記事数が増えるほどモデルの性能が向上を続けることから、抽出型モデルが10〜20件で頭打ちになるのとは異なり、複数記事証拠統合の能力が非常に高いことが示された。
• リトリーブ・アンガゲレーテッドアプローチは、770Mパラメータとウィキペディアリトリーブを用いてNaturalQuestionsで44.1%のEMを達成したのに対し、110億パラメータのクローズド・ブックT5モデルでは36.6%にとどまった。外部メモリの活用がパラメータスケーリングよりも効率的であることが示された。