[論文レビュー] Retrieve-and-Read: Multi-task Learning of Information Retrieval and Reading Comprehension

Kyosuke Nishida, Itsumi Saito+3 more|arXiv (Cornell University)|Aug 31, 2018

Topic Modeling参考文献 52被引用数 30

ひとこと要約

本論文では、隠れ層を共有し、結合損失を最小化することで、情報検索（IR）と読解理解（RC）を共同で学習する教師ありマルチタスク学習モデル、Retrieve-and-Readを提案する。回答スパンの監視信号を用いてIR部を訓練することで、パッセージ再ランク付けの精度が顕著に向上し、全Wikipediaを知識源として用いたSQuADにおいて最先端の性能を達成した。

ABSTRACT

This study considers the task of machine reading at scale (MRS) wherein, given a question, a system first performs the information retrieval (IR) task of finding relevant passages in a knowledge source and then carries out the reading comprehension (RC) task of extracting an answer span from the passages. Previous MRS studies, in which the IR component was trained without considering answer spans, struggled to accurately find a small number of relevant passages from a large set of passages. In this paper, we propose a simple and effective approach that incorporates the IR and RC tasks by using supervised multi-task learning in order that the IR component can be trained by considering answer spans. Experimental results on the standard benchmark, answering SQuAD questions using the full Wikipedia as the knowledge source, showed that our model achieved state-of-the-art performance. Moreover, we thoroughly evaluated the individual contributions of our model components with our new Japanese dataset and SQuAD. The results showed significant improvements in the IR task and provided a new perspective on IR for RC: it is effective to teach which part of the passage answers the question rather than to give only a relevance score to the whole passage.

研究の動機と目的

• オープンドメインQAシステムにおける情報検索の精度が全体の性能を制限するというボトルネックを解消すること。
• 回答スパンの監視信号を用いてIRを訓練することで、読解理解のための検索品質が向上するかを調査すること。
• IRとRCの両部が共有表現から利益を得られる共同学習フレームワークを開発すること。
• 新たに作成された日本語データセットを用いて、低リソースおよび多言語環境下でのマルチタスク学習の有効性を評価すること。
• 高速なIRと正確なニューラル再ランク付けを組み合わせることで、エンドツーエンドQAシステムの実用的導入を可能にすること。

提案手法

• モデルはIRおよびRCの両タスクに共通のエンコーダーネットワークを用い、隠れ層を共有することでパラメータ共有と知識移転を可能にする。
• パッセージの関連性（IR）と回答スパン抽出（RC）の2つの損失関数を同時に最適化する。
• IRの負例は、SQuADデータから質問と関連しないパッセージをペairingすることで生成する。
• 高速な正確一致検索の結果をニューラルモデルで再ランク付けする「テレスコピング設定」を採用し、速度とスケーラビリティを維持する。
• 回答スパンからの教師信号を用いて、SQuAD形式の三つ組み（質問、パッセージ、回答スパン）をエンドツーエンドで学習する。
• QANetなどの最先端のRCモデルと互換性があり、未回答の質問を処理する拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 大規模な機械的読解において、回答スパンの監視信号を用いてIR部を訓練することで、検索精度が向上するか？
• RQ2 共有表現を用いたマルチタスク学習は、独立して学習する場合と比較して、IRおよびRCの両方の性能を向上させるか？
• RQ3 本手法は、トピックが類似し、重複するパッセージが存在する非英語コーパスにおいても効果的か？
• RQ4 IR部において、回答スパンの監視信号と結合損失最小化のそれぞれの寄与度はどの程度か？
• RQ5 大規模な検索環境下でも、計算効率を維持しながら高い性能を発揮できるか？

主な発見

• Retrieve-and-Readモデルは、全Wikipediaを検索源として用いたSQuADベンチマークで最先端の性能を達成した。
• 回答スパンの監視信号を用いて訓練したIR部は、質問語の一致に依存するだけの検索エラーを顕著に低減し、顕著な改善を示した。
• 新たに作成されたJp-Newsデータセットにおいても、強力な一般化性能を示し、多言語および複雑な検索環境下での有効性を裏付けた。
• アブレーションスタディにより、関連性のみの監視信号よりも、回答スパンの監視信号の方がIRに対してより効果的であることが確認された。これは、モデルが回答に関連する文脈を特定する能力を学習していることを示している。
• テレスコピング設定により、精度を損なわず高速な推論が可能となり、大規模な展開に実用的であることが示された。
• マルチタスク学習の設定により、IRおよびRCの両方の性能が向上し、共有表現が全体のQAシステムの頑健性を高めることを示した。