[論文レビュー] Distilling Knowledge from Reader to Retriever for Question Answering

Gautier Izacard, Édouard Grave|arXiv (Cornell University)|Dec 8, 2020

Topic Modeling参考文献 37被引用数 39

ひとこと要約

本論文はリーダーのクロスアテンションスコアから信号を蒸留することにより強い監視なしでリトリーバを訓練し、オープン・ドメインQAベンチマークで最先端の結果を達成します。

ABSTRACT

The task of information retrieval is an important component of many natural language processing systems, such as open domain question answering. While traditional methods were based on hand-crafted features, continuous representations based on neural networks recently obtained competitive results. A challenge of using such methods is to obtain supervised data to train the retriever model, corresponding to pairs of query and support documents. In this paper, we propose a technique to learn retriever models for downstream tasks, inspired by knowledge distillation, and which does not require annotated pairs of query and documents. Our approach leverages attention scores of a reader model, used to solve the task based on retrieved documents, to obtain synthetic labels for the retriever. We evaluate our method on question answering, obtaining state-of-the-art results.

研究の動機と目的

• 注釈付きのクエリ-ドキュメントペアなしで、オープン・ドメインQAの情報検索を改善する動機づけ。
• アテンション信号を介してリーダーがリトリーバの訓練を導く、student-teacher フレームワークを提案する。
• リトリーバとリーダーの性能を漸進的に向上させる反復的訓練を示す。

提案手法

• 質問と取得済みのパッセージを処理するリーダーとしてFusion-in-Decoderを用いる。
• パッセージトークン上のリーダーのクロスアテンションを平均することで、パッセージの関連スコア G_q,p を定義する。
• KL-divergence損失を用いてリーダーのスコアを模倣する密な bi-encoder リトリーバを訓練する。
• アテンション信号のための代替目的関数（MSE、max-margin など）と集約方式を検討する。
• 更新されたリトリーバを用いて新しいパッセージを取得するように、リーダーとリトリーバを反復的に再訓練する。

実験結果

リサーチクエスチョン

• RQ1 リーダーからの信号を蒸留することで、明示的なクエリ-ドキュメントの監督なしにリトリーバを効果的に訓練できるか？
• RQ2 リーダー由来のアテンションスコアは、検索のためのパッセージの関連性とどれくらい相関するか？
• RQ3 リーダーの関連性を模倣するよう、 bi-encoder リトリーバに最も適した訓練目的とアテンション集約の選択は何か？
• RQ4 反復的な教師-生徒訓練は、非反復ベースラインと比較してエンドツーエンドのQA性能を改善するか？

主な発見

• リーダーのアテンションスコアは、パッセージの関連性の良い代理指標である。
• リーダーとリトリーバのスコア間のKL-divergenceは、検討された目的の中で最良の検索品質をもたらす。
• 反復的な訓練は性能を向上させ、初期パッセージの品質に依存して利得が変化する。
• BM25またはDPRパッセージから開始する方が、raw BERTベースの検索などのより弱いベースラインから開始するよりも強い結果をもたらす。
• DPRから開始し、より大きなリーダーモデルを使用すると、TriviaQAとNaturalQuestionsで顕著なエンドツーエンドの改善をもたらす。
• この手法は、いくつかのベースラインと比較してオープン・ドメインQAベンチマークで最先端の結果を達成する。