[論文レビュー] MultiReQA: A Cross-Domain Evaluation for Retrieval Question Answering Models

Mandy Guo, Yinfei Yang+3 more|arXiv (Cornell University)|May 5, 2020

Topic Modeling参考文献 30被引用数 1

ひとこと要約

MultiReQAは、公開データセットから抽出された8つの多様なタスクを含む、リtrieval質問応答（ReQA）のクロスドメイン評価スイートを導入する。研究では、教師ありBERTおよびUSE-QAのファインチューニングに加え、BM25を用いてリtrievalモデルを評価し、ドメイン内でのファインチューニングが、複数ドメインにわたって訓練された一般化モデルを常に上回ることを示している。

ABSTRACT

Retrieval question answering (ReQA) is the task of retrieving a sentence-level answer to a question from an open corpus (Ahmad et al.,2019).This dataset paper presents MultiReQA, a new multi-domain ReQA evaluation suite composed of eight retrieval QA tasks drawn from publicly available QA datasets. We explore systematic retrieval based evaluation and transfer learning across domains over these datasets using a number of strong base-lines including two supervised neural models, based on fine-tuning BERT and USE-QA models respectively, as well as a surprisingly effective information retrieval baseline, BM25. Five of these tasks contain both training and test data, while three contain test data only. Performing cross training on the five tasks with training data shows that while a general model covering all domains is achievable, the best performance is often obtained by training exclusively on in-domain data.

研究の動機と目的

• リtrieval質問応答（ReQA）モデルを評価する包括的でマルチドメインのベンチマークを確立すること。
• ReQAにおける多様なドメイン間でのトランスファー学習の有効性を調査すること。
• ドメイン間設定における、教師ありニューラルモデル（BERT、USE-QA）と従来のIRベースライン（BM25）を比較すること。
• 複数ドメインで訓練された一般化モデルが、ドメイン特化モデルを上回る可能性があるかどうかを評価すること。
• ドメイン特化ファインチューニングとクロスドメイン事前学習の両者がReQAパフォーマンスに与える影響を評価すること。

提案手法

• 8つの公開利用可能なQAデータセットを用いて、マルチドメインReQA評価スイートとしてMultiReQAを構築すること。
• トレーニングおよびテスト分割を備えた5つのタスクを選定し、ドメイン間トレーニングと評価を可能にすること。
• ドメイン内およびクロスドメインのトレーニングデータを用いて、BERTおよびUSE-QAモデルの教師ありファインチューニングを実施すること。
• 比較のための強力な非ニューラルベースラインとしてBM25を実装すること。
• ホールドアウトされたテストセットを用いて、標準的なReQA指標でドメイン間でのモデルパフォーマンスを評価すること。
• ドメイン内とクロスドメインのトレーニング方式の間でのパフォーマンス差を分析すること。

実験結果

リサーチクエスチョン

• RQ1 複数ドメインで訓練された単一の一般化モデルが、すべてのReQAタスクで優れたパフォーマンスを達成できるか？
• RQ2 リtrieval精度の観点から、ドメイン内ファインチューニングとクロスドメイントレーニングの比較は？
• RQ3 ドメイン間ReQAにおいて、ニューラルモデル（BERT、USE-QA）と従来のIR手法（BM25）の相対的パフォーマンスは？
• RQ4 トレーニングとテストを異なるドメインで行う場合、ドメインシフトがモデルパフォーマンスにどの程度悪影響を及えるか？
• RQ5 一般化事前学習よりもドメイン特化トレーニングデータを使用することで、顕著なパフォーマンス向上が得られるか？

主な発見

• 利用可能なデータを用いて5つのトレーニングタスクすべてで一般化モデルを訓練することは可能だが、一貫してドメイン特化モデルを上回るとは限らない。
• 各タスクで最高のパフォーマンスは、常にドメイン内データに限定してトレーニングした場合に達成される。
• 従来の情報検索手法であるBM25は、驚くべきほど良好なパフォーマンスを示し、特定のタスクではニューラルベースラインを上回ることが多い。
• ファインチューニングされたBERTおよびUSE-QAモデルは強いパフォーマンスを示すが、ドメインをまたいで移行する際の向上は限定的である。
• クロスドメイントレーニングは、ドメイン外タスクでのパフォーマンスを低下させる傾向があり、ドメインシフトが依然として大きな課題であることを示している。
• 結果から、ReQAタスクにおいてドメイン特化ファインチューニングが一般化事前学習よりも効果的であると示唆される。