[論文レビュー] Unsupervised Domain Adaptation of Language Models for Reading Comprehension

Kosuke Nishida, Kyosuke Nishida+3 more|arXiv (Cornell University)|Nov 25, 2019

Topic Modeling参考文献 30被引用数 15

ひとこと要約

本稿では、読解（RC）のための自己教師付きドメイン適応（UDARC）に向けたマルチタスク学習アプローチを提案する。この手法では、ソースドメインからの教師あり読解データと、ターゲットドメインからのラベルなしパassageを同時に微調整するBERTベースのモデルを用いる。本手法は、ターゲットドメインのラベルなしデータを唯一の入力として用いることで、ドメイン外設定における質疑応答性能を向上させ、特に生物医学ドメインでEM/F1スコアを4.3/4.2ポイント改善する。同時に、ソースドメインのRC能力を保持するとともに、ターゲットドメインの言語モデリング知識を習得することができる。

ABSTRACT

This study tackles unsupervised domain adaptation of reading comprehension (UDARC). Reading comprehension (RC) is a task to learn the capability for question answering with textual sources. State-of-the-art models on RC still do not have general linguistic intelligence; i.e., their accuracy worsens for out-domain datasets that are not used in the training. We hypothesize that this discrepancy is caused by a lack of the language modeling (LM) capability for the out-domain. The UDARC task allows models to use supervised RC training data in the source domain and only unlabeled passages in the target domain. To solve the UDARC problem, we provide two domain adaptation models. The first one learns the out-domain LM and in-domain RC task sequentially. The second one is the proposed model that uses a multi-task learning approach of LM and RC. The models can retain both the RC capability acquired from the supervised data in the source domain and the LM capability from the unlabeled data in the target domain. We evaluated the models on UDARC with five datasets in different domains. The models outperformed the model without domain adaptation. In particular, the proposed model yielded an improvement of 4.3/4.2 points in EM/F1 in an unseen biomedical domain.

研究の動機と目的

• 最先端の読解モデルがドメイン固有の言語モデリング能力に欠けるため、ドメイン外データセットへの一般化性能が低いという問題に対処すること。
• ターゲットドメインに質問・回答ペairのラベル付きデータを一切必要とせずに、読解におけるドメイン適応を可能にすること。
• ラベルなしターゲットドメインパassageに対する自己教師付き事前学習が、未見ドメインにおけるゼロショット性能を向上させるかどうかを検証すること。
• ソースドメインの読解知識を保持するとともに、ターゲットドメインの言語モデリングを学習するが、悲観的忘却を防ぐ方法を開発すること。
• 特にリソースが限られたドメインや専門知識を要するドメインを含む、多様なドメインにおける自己教師付きドメイン適応の有効性を評価すること。

提案手法

• 提案手法は、マルチタスク学習を用いて、ソースドメインデータにおける読解（RC）と、ラベルなしターゲットドメインパassageにおける言語モデリング（LM）の両方を同時に最適化する。
• 共有のBERTバックボーンを、両タスクを同時に微調整することで、RCとLMの目的間の知識移転を可能にする。
• RC損失（例：スパン予測）と、ターゲットドメインテキストにおけるマスク言語モデリング損失を組み合わせたバランスの取れた損失関数で学習を行う。
• 微調整中に両タスクを同時に最適化することで、忘却を回避し、ソースドメインのRC性能を維持しながらターゲットドメインに適応する。
• 本手法は、まずターゲットデータでLMを微調整し、その後ソースデータでRCを微調整する逐次的適応ベースラインと比較される。
• 本フレームワークは、生物医学（BioASQ）、ニュース（NewsQA）、一般のWikipedia（SQuAD）を含む、5つの異なるドメインのデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしターゲットドメインパassageに対する自己教師付き言語モデリングが、ドメイン外設定におけるゼロショット読解性能を向上させるか？
• RQ2 RCとLMのマルチタスク学習が、適応中にソースドメイン知識の悲観的忘却を防ぐか？
• RQ3 未ラベルターゲットドメインパassageの数が、本手法の性能にどのように影響するか？
• RQ4 ソースドメインの選択が適応性能に与える影響は何か？
• RQ5 ターゲットドメインで高い性能を達成するために、ソースドメインのRCデータはどの程度必要か？

主な発見

• 提案されたマルチタスク学習モデルは、Wikipedia（SQuAD）から生物医学ドメイン（BioASQ）に適応する際、EM/F1スコアで4.3/4.2ポイントの向上を達成し、適応なしベースラインを上回った。
• ターゲットドメインでたった500件のラベルなしパassageしか利用しなくても、EM/F1スコアで3.7/3.3ポイントの向上を達成し、最小限のデータ量でも有効であることが示された。
• 逐次的適応ベースラインを上回ったことから、両タスクを同時に最適化することで、ソースドメイン知識の忘却が防止されていることが示された。
• ソースドメインRCデータが増えるほど性能が向上し、10,000件のトレーニングインスタンスまでに急激な向上が見られたが、その後は改善が鈍くなった。
• ソースドメインの選択が性能に顕著な影響を与えた：BioASQに適応する際、SQuADはNewsQAを上回ったが、DuoRCでは性能に差がなかった。
• 言語モデリングと読解のトレーニングステップ比（k）の最適値はドメインによって異なり、ドメインがBERTの事前学習分布から離れているかどうかによって、k=10とk=100の両方が強い結果を示した。