[論文レビュー] End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering

Devendra Singh Sachan, Siva Reddy+3 more|arXiv (Cornell University)|Jun 9, 2021

Topic Modeling被引用数 45

ひとこと要約

本論文は EMDR2 を提案する。Open-domain QA のために、取得された文書集合を潜在変数としてモデル化し、EM にインスパイアされたトレーニングループを用いて、マルチドキュメントリーダーとリトリーバをエンドツーエンドで微分可能に共同訓練するフレームワークである。

ABSTRACT

We present an end-to-end differentiable training method for retrieval-augmented open-domain question answering systems that combine information from multiple retrieved documents when generating answers. We model retrieval decisions as latent variables over sets of relevant documents. Since marginalizing over sets of retrieved documents is computationally hard, we approximate this using an expectation-maximization algorithm. We iteratively estimate the value of our latent variable (the set of relevant documents for a given question) and then use this estimate to update the retriever and reader parameters. We hypothesize that such end-to-end training allows training signals to flow to the reader and then to the retriever better than staged-wise training. This results in a retriever that is able to select more relevant documents for a question and a reader that is trained on more accurate documents to generate an answer. Experiments on three benchmark datasets demonstrate that our proposed method outperforms all existing approaches of comparable size by 2-3% absolute exact match points, achieving new state-of-the-art results. Our results also demonstrate the feasibility of learning to retrieve to improve answer generation without explicit supervision of retrieval decisions.

研究の動機と目的

• 取得 augmented open-domain QA のためのエンドツーエンド訓練を動機づけ、多数の文書を活用する。
• ニューラルリトリーバーとニューラルリーダーを共同訓練するEMベースのフレームワークを提案する。
• エンドツーエンド訓練が、段階的訓練よりも文書選択と回答品質を改善することを示す。
• Natural Questions, TriviaQA, WebQuestions で、モデルサイズを抑えつつSOTAの結果を示す。

提案手法

• デュアルエンコーダーリトリーバを用いて質問に対する上位K文書セットを選択する。
• Fusion-in-Decoder (FiD) をマルチドキュメントリーダーとして採用し、複数の取得済み文書から回答を生成する。
• エンドツーエンド訓練を、文書集合 Z に対する潜在変数学習として定式化し、EM に似た目的関数を適用する。
• リーダー関連の潜在集合 Z_reader を事前スコアから推定し、リトリーバ関連の潜在集合 Z_retriever を事後に類似した目的から推定する。
• リーダーの p(a|q,Z_topK;Θ) と、Σ_k p(a|q,z_k;Θ) p(z_k|q;Φ) の後方近似に相当するリトリーバ用の実用的な目的を組み合わせて計算する。
• 共同訓練を安定化させ、特定のステップでリーダーのシグナルがリトリーバの更新にリークするのを防ぐ停止勾配演算子を活用する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのマルチドキュメントリトリーバーリーダーシステムの訓練は、段階的訓練と比べてOpen-domain QA の性能を改善できるか？
• RQ2 取得文書集合を潜在変数としてモデル化し、EM風の更新を用いると、文書選択と回答品質は改善されるか？
• RQ3 提案する EMDR2 フレームワークは、同等のモデルサイズで標準の OpenQA ベンチマーク（NQ、TriviaQA、WebQuestions）でどの程度の性能を発揮するか？
• RQ4 リトリーバの初期化、無教師あり事前訓練を含む場合のロバスト性は？
• RQ5 取得文書の数と初期化戦略が性能に与える影響は？

主な発見

• EMDR2 は、同等のサイズのモデルに対して Natural Questions、TriviaQA、WebQuestions で新しいスコアを達成した。
• 潜在集合リトリーバ signals を伴うエンドツーエンド訓練は、同じアーキテクチャの FiD ベースのベースラインより性能が向上する。
• EMDR2 は無監督リトリーバ初期化に対してもロバストであり、強い結果を維持し、監督付きリトリーバ pretraining への依存を減らす。
• エンドツーエンド訓練で 50 件の取得文書を用いると、同じ文書を用いた非エンドツーエンド訓練の構成よりも性能が向上することが示され、共同最適化の利点が強調される。
• FiD-KD と比較して、EMDR2 はより高い EM スコアを提供し、文書数と訓練サイクルを抑えられるため、効率性とロバスト性の利点がある。
• アブレーション分析では、リトリーバ目的とエンドツーエンドの EM風更新が性能向上に寄与する一方、特定の代替案は発散したり性能が劣るケースがある。