[論文レビュー] Multi-step Retriever-Reader Interaction for Scalable Open-domain Question Answering

Rajarshi Das, Shehzaad Dhuliawala+2 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling被引用数 35

ひとこと要約

オープン・ドメインQAフレームワークを紹介。高速リトリーバとニューラルリーダーが、マルチステップ推論機構を介してクエリを再構成し、複数の段落にまたがる検索と集約を改善する反復的相互作用を行う。

ABSTRACT

This paper introduces a new framework for open-domain question answering in which the retriever and the reader iteratively interact with each other. The framework is agnostic to the architecture of the machine reading model, only requiring access to the token-level hidden representations of the reader. The retriever uses fast nearest neighbor search to scale to corpora containing millions of paragraphs. A gated recurrent unit updates the query at each step conditioned on the state of the reader and the reformulated query is used to re-rank the paragraphs by the retriever. We conduct analysis and show that iterative interaction helps in retrieving informative paragraphs from the corpus. Finally, we show that our multi-step-reasoning framework brings consistent improvement when applied to two widely used reader architectures DrQA and BiDAF on various large open-domain datasets --- TriviaQA-unfiltered, QuasarT, SearchQA, and SQuAD-Open.

研究の動機と目的

• 高速検索と対話的リーディングでスケーラブルなオープンドメインQAを動機づける。
• 3コンポーネントアーキテクチャ（リトリーバー、リーダー、マルチステップリソナー）を提案し、反復的クエリ再構成を可能にする。
• DrQAとBiDAFリーダーを大規模データセットに適用してアーキテクチャ非依存の利得を示す。

提案手法

• 段落表現を事前計算・キャッシュして、スケーラブルな高速内積検索を実現。
• リトリーバーはクエリベクトルと事前計算済み段落ベクトルとの内積でTop-k段落をランク付けする。
• リーダー（DrQAまたはBiDAF）はTop-k段落を処理して回答スパンを抽出しリーダー状態を生成する。
• マルチステップ・リソナーはゲート付きリカレントユニットで、リーダー状態を使ってクエリベクトルを更新し新しい段落を再ランク付け・取得する（反復的相互作用）。
• 訓練は、より良いリーダーシップ性能のためにマルチステップリソナーを強化学習で最適化する。リーダーは教師あり学習で事前訓練され、マルチステップリソナーはポリシー勾配でファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 リトリーバーとリーダーの反復的な相互作用は、大規模コーパスに対するオープンドメインQAの性能を改善できるか？
• RQ2 マルチステップリソナーによるクエリ再構成は、複数段落からの証拠を集約するのに役立つか？
• RQ3 本アプローチは基盤リーダーモデルに対してアーキテクチャに依存しないか？
• RQ4 Frameworkは数百万段落・大規模オープンドメインデータセットにどのようにスケールするか？

主な発見

• マルチステップリソナーを介した反復的相互作用は、DrQAおよびBiDAFリーダーで4つのオープンドメインQAデータセットにわたり一貫した改善を生む。
• マルチステップアプローチはリトリーバー後の複数歩でより高いP@kを達成し、検索品質を向上させる。
• TriviaQA-openで1.6M段落あたり、ベースラインDrQA（相互作用なし）はEM 37.45 / F1 42.16、3つの相互作用ステップでEM 39.76 / F1 44.30。
• Quasar-T、SearchQA、TriviaQA-open、Squad-open全体で、マルチステップ・リソナー強化モデルは複数のベースラインよりEMとF1が上回り、DrQAベースラインに比して顕著な向上が見られる。
• リトリーバーはマルチステップ相互作用で数百万段落規模へ対応、内積検索とSGTreeを用い、GPU/CPUでのスケーラビリティを維持し、いくつかの大きくて高価なベースラインより検索時間で上回る。