[論文レビュー] Retrieving and Reading: A Comprehensive Survey on Open-domain Question Answering

Fengbin Zhu, Wenqiang Lei+4 more|arXiv (Cornell University)|Jan 4, 2021

Topic Modeling参考文献 160被引用数 153

ひとこと要約

本調査は、Retriever-Reader アーキテクチャに焦点を当てたオープンドメインQAを分析し、疎結合・密結合・反復的な取得手法を体系的に概説し、ニューラルMRC、課題、ベンチマークについて論じる。

ABSTRACT

Open-domain Question Answering (OpenQA) is an important task in Natural Language Processing (NLP), which aims to answer a question in the form of natural language based on large-scale unstructured documents. Recently, there has been a surge in the amount of research literature on OpenQA, particularly on techniques that integrate with neural Machine Reading Comprehension (MRC). While these research works have advanced performance to new heights on benchmark datasets, they have been rarely covered in existing surveys on QA systems. In this work, we review the latest research trends in OpenQA, with particular attention to systems that incorporate neural MRC techniques. Specifically, we begin with revisiting the origin and development of OpenQA systems. We then introduce modern OpenQA architecture named "Retriever-Reader" and analyze the various systems that follow this architecture as well as the specific techniques adopted in each of the components. We then discuss key challenges to developing OpenQA systems and offer an analysis of benchmarks that are commonly used. We hope our work would enable researchers to be informed of the recent advancement and also the open challenges in OpenQA research, so as to stimulate further progress in this field.

研究の動機と目的

• 従来の手法からニューラル手法へとOpenQAシステムの起源と発展を辿る。
• Retriever-Reader アーキテクチャとその構成要素を紹介・分析する。
• 疎結合・密結合・反復的リトリーバの3種とOpenQAにおける役割を調査する。
• OpenQA の主要な課題を論じ、一般的に用いられるベンチマークの概要を示す。

提案手法

• 従来のパイプラインから現代のニューラルエンドツーエンドシステムへのOpenQAの進化をレビューする。
• Retriever-Reader OpenQAシステムの分類法を提案し、構成要素の技術を分析する。
• リトリーバを Sparse・Dense・Iterative に分類し、それぞれの仕組みとトレードオフを説明する。
• 回答抽出に用いられるエンドツーエンドの学習パラダイムとニューラルMRCモデルを論じる。
• OpenQA の課題とベンチマークを要約して今後の研究を指針にする。

実験結果

リサーチクエスチョン

• RQ1 オープンドメインQAの歴史的発展はどうなっており、ニューラルMRC手法は現代のシステムにどのような影響を与えたか。
• RQ2 Retriever-Readerアーキテクチャはどう機能するか、各コンポーネントの主要なバリアントと技術は何か。
• RQ3 OpenQAにおけるSparse、Dense、Iterativeリトリーバの相対的な長所と制約は何か。
• RQ4 OpenQAシステムを評価するために一般的に用いられる主要な課題とベンチマークデータセットは何か。

主な発見

• OpenQAシステムは一般にテキストQAとKB-QAに分類され、OpenQAは非構造化テキストから質問に回答することを目的とする。
• 現代の主流アーキテクチャはRetriever-Readerであり、しばしば文書/回答後処理とエンドツーエンド学習で強化される。
• リトリーバは Sparse・Dense・Iterative に分類され、それぞれ文書検索の機械とトレードオフが異なる。
• ニューラルMRCモデルは回答抽出の中核となり、エンドツーエンド学習とリトリーバとの統合を可能にする。
• Denseリトリーバは潜在表現を介して語の不一致を解決し、Iterativeリトリーバは複雑な質問のためのマルチホップ検索を可能にする。