[論文レビュー] Towards Domain Adaptation from Limited Data for Question Answering Using Deep Neural Networks

Timothy J. Hazen, Shehzaad Dhuliawala+1 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 25被引用数 14

ひとこと要約

この論文は、限定的なアノテート済みデータを用いた専門分野における質問応答のドメイン適応を調査しており、わずかなドメイン内データで事前学習されたBERTベースのモデルを微調整することで、優れた性能が得られることを示している。驚くべきことに、標準的な転移学習が自己教師ありドメイン適応手法を上回り、回答長の分布を重要度重み付けによって一致させることで一般モデルの性能が向上するが、微調整が適応成功の主因であることが判明した。

ABSTRACT

This paper explores domain adaptation for enabling question answering (QA) systems to answer questions posed against documents in new specialized domains. Current QA systems using deep neural network (DNN) technology have proven effective for answering general purpose factoid-style questions. However, current general purpose DNN models tend to be ineffective for use in new specialized domains. This paper explores the effectiveness of transfer learning techniques for this problem. In experiments on question answering in the automobile manual domain we demonstrate that standard DNN transfer learning techniques work surprisingly well in adapting DNN models to a new domain using limited amounts of annotated training data in the new domain.

研究の動機と目的

• 限定的なアノテート済みトレーニングデータを有する新しい専門分野に質問応答システムを展開する課題に対処すること。
• 一般向けQAモデルを自動車マニュアルのような専門分野に適応させるための転移学習手法の有効性を評価すること。
• ドメイン内ラベル付きデータが限られる状況で、自己教師ありドメイン適応または回答長に基づく重要度重み付けが性能向上に寄与するかを調査すること。
• 事前学習モデルの初期性能が、限られたデータで新しいドメインに適応する能力に与える影響を特定すること。

提案手法

• 自動車マニュアルドメインからの限定的なドメイン内ラベル付きデータを用いて、事前学習済みBERTベースのQAモデルを微調整すること。
• ターゲットドメインの分布に合わせて、ソースドメインのトレーニングサンプルに回答長の分布に基づく重要度重みを適用すること。
• 異なる量のドメイン内データを用いてターゲットドメインの回答長分布を推定し、重み関数を計算すること。
• ヒストグラム推定法（'auto'バインディング）を用いて、ソースドメインおよびターゲットドメインの回答長の確率分布をモデル化すること。
• 再重み付けされたソースデータでモデルを学習し、ターゲットドメインの回答長に類似したサンプルに重点を置くこと。
• 同じテストセット上で、標準的転移学習、重要度重み付け、自己教師ありドメイン適応手法の性能を比較すること。

実験結果

リサーチクエスチョン

• RQ1 限定的なドメイン内ラベル付きデータを用いた場合、標準的な転移学習手法が一般向けQAモデルを新しい専門分野に効果的に適応できるか？
• RQ2 重要度重み付けによる回答長分布の一致が、ターゲットドメインでのモデル性能を向上させるか？
• RQ3 限定的なラベル付きデータしかない状況で、自己教師ありドメイン適応の性能は、教師あり微調整と比べてどうか？
• RQ4 事前学習モデルの初期精度が、最小限のデータで新しいドメインに適応する能力にどの程度影響を与えるか？

主な発見

• 一般向けBERTベースのQAモデルをドメイン内ラベル付き例がたった1000件程度のデータで微調整すると、F1スコアが約0.70に達し、一般モデルを著しく上回る性能を示した。
• 回答長の分布に基づく重要度重み付けにより、一般モデルのF1スコアは0.64から0.70に向上し、ドメイン特化モデルとの差の約30％を埋めた。
• 重要度重み付けモデルの性能は、標準的な微調整モデルとほぼ同等であったため、微調整が分布重み付けの利点をすでに包含していることが示された。
• ドメイン内サンプルが1000未満で微調整した場合、重要度重み付けモデルは標準的な微調整モデルよりわずかに性能が劣った。これは、微調整が分布調整のみよりも効果的であることを示唆している。
• 結果から、限られたドメイン内データでも転移学習が非常に有効であることが明らかになった。また、適応成功において、事前学習モデルの学習データ量が初期精度よりもより大きな影響を持つことが分かった。