[論文レビュー] Data Augmentation for BERT Fine-Tuning in Open-Domain Question Answering

Wei Yang, Yuqing Xie+4 more|arXiv (Cornell University)|Apr 14, 2019

Topic Modeling参考文献 21被引用数 37

ひとこと要約

本論文は、エンドツーエンドのオープンドメインQAにおけるBERT用 distant-supervision データ拡張を提案し、拡張データを用いた stage-wise ファインチューニング（負例を含む）が、英語および中国語データセットでBERTseriniと比較して顕著な利得をもたらすことを示す。

ABSTRACT

Recently, a simple combination of passage retrieval using off-the-shelf IR techniques and a BERT reader was found to be very effective for question answering directly on Wikipedia, yielding a large improvement over the previous state of the art on a standard benchmark dataset. In this paper, we present a data augmentation technique using distant supervision that exploits positive as well as negative examples. We apply a stage-wise approach to fine tuning BERT on multiple datasets, starting with data that is "furthest" from the test data and ending with the "closest". Experimental results show large gains in effectiveness over previous approaches on English QA datasets, and we establish new baselines on two recent Chinese QA datasets.

研究の動機と目的

• 新しいモデルアーキテクチャよりもデータ準備の改善によってエンドツーエンドのオープンドメインQAを改善する動機付け。
• 遠隔監督が検索ベースのフレームワークに合わせた質問–段落の訓練ペアをどのように作成できるかを探る。
• 多様なソースと拡張データセットを用いた段階的ファインチューニング戦略を評価する。
• 拡張に負例を含めることが英語および中国語のQAデータセットに与える影響を示す。

提案手法

• BM25による段落レベルの検索と各候補段落上のBERTリーダを用いた、同じ BERTserini リーダー設定を使用する。
• 遠隔監督を用いて拡張訓練データを構築する：DS(+) は正例のみを使用、DS(±) は回答を含まない上位 n 個の取得段落から抽出された負例を含む。
• テストデータから最も離れたデータセットから最も近いデータセットへと段階的に BERT をファインチューニングし、データを一括混合しない。
• 保持アウトセットを用いてリトリーバとリーダのスコアを組み合わせる補間パラメータ mu を調整する。
• SQuAD、TriviaQA、CMRC、DRCD に対して EM と F1 を用いてエンドツーエンドの QA を評価し、取得されたパッセージの recall (R) を併用する。

実験結果

リサーチクエスチョン

• RQ1 distant-supervision データ拡張は、ベースラインの BERTserini セットアップを超えて、BERT を用いたエンドツーエンドのオープンドメインQAを改善するか？
• RQ2 QA のファインチューニングにおける distant supervision への負例の含有がどのような効果をもたらすか？
• RQ3 段階的ファインチューニング戦略（furthest-to-closest）は、データセットを跨いだ結合ファインチューニングより優れているか？
• RQ4 異なるジャンルとソースを持つ英語および中国語のQAデータセットに対して、拡張手法はどのように機能するか？

主な発見

• DS(+) を用いた訓練の拡張は SQuAD でソースのみのベースラインより EM と F1 を向上させる（SRC: 41.8 EM, DS(+: 44.0 EM, F1 51.4）。
• 負例を含む DS(±) の導入は、正例のみの拡張より大きな利得を生み出す（SQuAD: EM が最大で 48.7、F1 が 56.5）。
• 段階的チューニング DS(±) → SRC はデータを混合する場合より良い結果を生み出す（SRC → DS(±) も効果的）、SQuAD で従来の BERTserini を10ポイント超上回る。
• TriviaQA でもデータ拡張が有効で、DS(±) が EM 54.4、F1 60.2 を達成し、段階的チューニングが組み合わせの中で最良の結果を提供する。
• 中国語データセット CMRC と DRCD も DS(±) および段階的チューニングの恩恵を受け、DS(±) と SRC+DS(±) がほとんどの設定で最も強いエンドツーエンド性能を示す。
• 全体として、負例を含む distant supervision と furthest-to-closest のファインチューニング順序を用いることは、英語および中国語データセット全体でエンドツーエンドのQAを一貫して改善する。