[論文レビュー] Low-Resource Dense Retrieval for Open-Domain Question Answering: A Comprehensive Survey

Xiaoyu Shen, Svitlana Vakulenko+4 more|arXiv (Cornell University)|Aug 5, 2022

Topic Modeling被引用数 6

ひとこと要約

本調査は、オープンドメイン質問応答のための低リソースなドキュメントエンリッチ検索技術について、構造的でリソース指向の分類法を提供する。この分類法は、ドメイン内データの必要条件（ドキュメントのみ、ドキュメント＋質問、またはドキュメント＋QAペア）に基づいて手法を分類する。高価なアノテーションに依存を減らすための自己教師あり、遠隔教師あり、マルチタスク手法をレビューし、利用可能なデータリソースに応じた手法選択の実用的ガイドを提供するとともに、モデルの汎化性能や多言語間転送に関する未解決の課題を強調する。

ABSTRACT

Dense retrieval (DR) approaches based on powerful pre-trained language models (PLMs) achieved significant advances and have become a key component for modern open-domain question-answering systems. However, they require large amounts of manual annotations to perform competitively, which is infeasible to scale. To address this, a growing body of research works have recently focused on improving DR performance under low-resource scenarios. These works differ in what resources they require for training and employ a diverse set of techniques. Understanding such differences is crucial for choosing the right technique under a specific low-resource scenario. To facilitate this understanding, we provide a thorough structured overview of mainstream techniques for low-resource DR. Based on their required resources, we divide the techniques into three main categories: (1) only documents are needed; (2) documents and questions are needed; and (3) documents and question-answer pairs are needed. For every technique, we introduce its general-form algorithm, highlight the open issues and pros and cons. Promising directions are outlined for future research.

研究の動機と目的

• アノテート済みの質問-ドキュメントペアが乏しくないもしくは入手不可能な低リソース環境において、効果的なドキュメントエンリッチリトリーバーを訓練するという課題に対処する。
• ドメイン内リソースの必要条件（ドキュメントのみ、ドキュメントと質問、またはドキュメントとQAペア）に基づいて、既存の低リソースなドキュメントエンリッチ検索手法を体系的に分類する。
• 利用可能なデータリソースに応じて適切な手法を選択できる実用的でリソースに配慮したガイドを実践者に提供する。
• 低リソースなドキュメントエンリッチ検索におけるモデルの汎化、ドメインを超えた性能、多言語間転送に関する未解決の課題を強調する。
• 手法統合、体系的な選択基準、パラメータ効率の良い微調整といった、有望な今後の研究方向性を特定する。

提案手法

• ドメイン内リソースの必要条件に基づいて、低リソースなドキュメントエンリッチ検索手法を3つの主要グループに分類する：(1) ドキュメントのみ、(2) ドキュメントと質問、(3) ドキュメントとQAペア。
• ドキュメントコーパスのみを活用して表現学習を向上させる自己教師あり手法（例：ノイズ除去オートエンコーダー、自己対照的学習）をレビューする。
• ドメイン外の質問生成や遠隔教師あり手法を検討し、ドキュメントと/または質問から偽の質問-ドキュメントペアを生成することで、完全なアノテーションなしにリトリーバーを訓練する。
• 回答-ドキュメントマッピングや潜在変数モデルを用いた手法を分析し、弱教師あり学習を用いてリトリーバーとリーダーのコンポONENTを同時に学習する。
• スパース検索との統合、マルチタスク学習、パラメータ効率の良い微調整（例：アダプタ、プロンプトチューニング）などの統合戦略を調査し、限られたデータで汎化性能を向上させる。
• 外部ドメイン（OOD）のアノテーションが、特にドメイン不変学習やマルチタスク設定において、ゼロショットまたはフェイントショット性能を向上させる役割を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドキュメントのみが利用可能な状況で、どの低リソースなドキュメントエンリッチ検索手法が最も効果的であり、性能と頑健性の観点からどのように比較されるか？
• RQ2 ドキュメントと質問から、どのようにして効果的に偽の質問-ドキュメントペアを生成し、完全なアノテーションなしで検索性能を向上させることができるか？
• RQ3 QAペアを用いる手法が、ドキュメントのみまたは質問-質問ペアに依存する手法よりも、低リソース環境でどれほど優れているか？
• RQ4 スパース検索（例：BM25）との統合やマルチタスク学習といった統合戦略が、低リソース状況での性能をどのように向上させるか？
• RQ5 ドメインや言語を越えて汎化する低リソースなドキュメントエンリッチ検索モデルにおける主な制限要因と未解決の課題は何か？

主な発見

• 質問データやアノテーションデータが一切不要な手法（例：自己対照的学習、ノイズ除去オートエンコーダー）は、ドキュメントのみで競争力ある性能を達成できる。
• ドキュメントと質問から偽ペアを生成する質問生成や遠隔教師あり手法は、限られた監視情報でも検索性能を顕著に向上させることができる。
• 潜在変数モデルや回答-ドキュメントマッピングを用いた共同学習により、弱教師あり学習を用いてリトリーバーとリーダーをエンドツーエンドで学習可能となり、強力なアノテーションへの依存が低減される。
• スパース検索（例：BM25）との統合やマルチタスク学習は、ゼロショットおよびフェイントショット性能を一貫して向上させ、ドキュメント検索とスパース検索の相補的な強みを示している。
• プロンプトチューニングやアダプタなどのパラメータ効率の良い微調整手法は、更新対象パラメータを0.1％に制限しても強力な汎化性能を示し、低データ環境ではフル微調整を上回る性能を発揮する。
• 有望な結果が得られているものの、大多数の手法は非英語言語においてはほとんどテストされておらず、言語固有のヒューリスティクスやデータ不足に起因する性能ギャップが依然として存在する。