[論文レビュー] Is Retriever Merely an Approximator of Reader?

Sohee Yang, Minjoon Seo|arXiv (Cornell University)|Oct 21, 2020

Topic Modeling参考文献 28被引用数 26

ひとこと要約

この論文は、オープンドメインQAにおけるリtrieverが読解モデルの近似版にすぎないという仮定に挑戦する。知識蒸留を用いて読解モデルの知識をリtrieverに抽出することで、効率を損なわずにリtrievalの再現率とエンドツーエンドQAの精度を著しく向上させ、特にトップ1の再現率で顕著な改善が得られる。

ABSTRACT

The state of the art in open-domain question answering (QA) relies on an efficient retriever that drastically reduces the search space for the expensive reader. A rather overlooked question in the community is the relationship between the retriever and the reader, and in particular, if the whole purpose of the retriever is just a fast approximation for the reader. Our empirical evidence indicates that the answer is no, and that the reader and the retriever are complementary to each other even in terms of accuracy only. We make a careful conjecture that the architectural constraint of the retriever, which has been originally intended for enabling approximate search, seems to also make the model more robust in large-scale search. We then propose to distill the reader into the retriever so that the retriever absorbs the strength of the reader while keeping its own benefit. Experimental results show that our method can enhance the document recall rate as well as the end-to-end QA accuracy of off-the-shelf retrievers in open-domain QA tasks.

研究の動機と目的

• オープンドメインQAにおけるリtrieverが読解モデルの単なる近似にすぎないのか、それともモデルの精度に独自に寄与しているのかを調査すること。
• 二塔型リtrieverが効率を追求するために精度を犠牲にしているという一般的な仮定に対し、一塔型読解モデルと併用した際の相補的役割を実証的に評価すること。
• 読解モデルの知識をリtrieverに転送する蒸留手法を提案し、速度とスケーラビリティを維持したままリtrieverの性能を向上させること。
• 改善されたリtrieval品質が、特にトップ1のリtrievalにおいて、エンドツーエンドQA精度に顕著な向上をもたらすことを実証すること。

提案手法

• 一塔型読解モデルから得られる知識を二塔型リtrieバーモデルに転送するための知識蒸留フレームワークを提案する。
• 温度パラメータを用いたソフトラベル蒸留戦略を採用し、リtrieバーモデルが候補文書の読解モデルの信頼度スコアを模倣するように学習させる。
• 微調整時に温度T=3を用い、実証的に最良のリtrieval性能が得られるように設定する。
• 入力分布のギャップを埋めるために、強化されたリtrieバーモデルを用いて読解モデルを微調整する。
• 効率的な推論を実現するため、近似最近傍探索（ANN）を採用し、二塔型アーキテクチャの速度優位性を維持する。
• リtrieval性能は再現率@k、エンドツーエンドQA精度はNaturalQuestionsおよびTriviaQAでの正確一致（EM）で評価する。

実験結果

リサーチクエスチョン

• RQ1 リtrieverは読解モデルの近似版にすぎないのか、それともオープンドメインQAにおける精度向上に独自に寄与しているのか？
• RQ2 元々速度を最適化するために設計された二塔型リtrieバーモデルのアーキテクチャ的制約が、大規模リtrieバルにおいても頑健性を向上させられるのか？
• RQ3 読解モデルの知識を蒸留することで、効率性を損なわせずにオフザシェルリtrieバーモデルの性能をどの程度向上させられるのか？
• RQ4 改善されたリtrieval再現率は、特にトップ1の文書リtrieバルにおいて、エンドツーエンドQA精度の向上に直接的につながるのか？
• RQ5 強化されたリtrieバーモデルを用いて読解モデルを微調整すると、全体のQA性能にどのような影響が生じるのか？また、入力分布のシフトはどのような影響を及えるのか？

主な発見

• リtrieバーモデルは読解モデルの単なる近似にすぎないのではなく、負例に対してより頑健であるため、相補的な精度向上をもたらす。
• DPR-Singleを用いた場合、読解モデルの知識をリtrieバーモデルに蒸留することで、NaturalQuestionsにおけるトップ1再現率が1.8ポイント上昇（52.4%から54.2%に）。
• DPR-Singleを用いたエンドツーエンドQA精度（EM）は、トップ1で5.0ポイント上昇（32.3%から37.3%に）。
• RAG-Tokenを用いた場合、TriviaQAではEMが4.6ポイント上昇（44.5%から49.1%に）。
• 読解モデルの微調整を行わない場合、分布シフトの影響により性能が低下し、リtrieバーモデルと読解モデルの整合性が重要であることが示された。
• アブレーションスタディにより、蒸留が不可欠であることが確認された。蒸留を省略すると、特にトップ1で再現率が一貫して低下する。