[論文レビュー] Multi-Stage Pre-training for Low-Resource Domain Adaptation

Rong Zhang, Revanth Gangi Reddy+8 more|arXiv (Cornell University)|Oct 12, 2020

Topic Modeling参考文献 10被引用数 13

ひとこと要約

本稿では、自然言語処理における低リソースドメイン適応のためのマルチステージ事前学習アプローチを提案する。RoBERTa-largeを、ドメイン固有の用語で拡張された語彙と、ラベルなし構造化データから作成された合成事前学習タスクで拡張することで、抽出的読解では最大2.8 F1ポイント、ドキュメントランクイングでは2.9 Match@1の性能向上を達成した。ドメイン固有の語彙と、データの内在的構造から導出された補助タスクを活用することで、顕著な性能向上が得られた。

ABSTRACT

Transfer learning techniques are particularly useful in NLP tasks where a sizable amount of high-quality annotated data is difficult to obtain. Current approaches directly adapt a pre-trained language model (LM) on in-domain text before fine-tuning to downstream tasks. We show that extending the vocabulary of the LM with domain-specific terms leads to further gains. To a bigger effect, we utilize structure in the unlabeled data to create auxiliary synthetic tasks, which helps the LM transfer to downstream tasks. We apply these approaches incrementally on a pre-trained Roberta-large LM and show considerable performance gain on three tasks in the IT domain: Extractive Reading Comprehension, Document Ranking and Duplicate Question Detection.

研究の動機と目的

• ラベル付きデータが乏しく、事前学習済み言語モデルにドメイン固有用語が含まれない状況における、自然言語処理における低リソースドメイン適応の課題に対処すること。
• ITなどの専門ドメインにおける語彙外語（OOV）問題を克服するため、事前学習モデルの語彙にドメイン内用語を追加すること。
• 質問-回答ペアやテンプレートドキュメントなどの、ラベルなしドメインデータに内在する構造的パターンを活用して、補助的な合成事前学習タスクを生成すること。
• 段階的適応により、抽出的読解やドキュメントランクイング、重複質問検出といった低リソースタスクの下流性能を向上させること。
• 語彙拡張、合成事前学習、データ拡張の組み合わせが、標準的な微調整よりも一貫して顕著な向上をもたらすことを示すこと。

提案手法

• 未ラベルのITドメインテキスト（例：TechnotesやAskUbuntu投稿）から抽出した10,000語のドメイン固有サブワードトークンを、RoBERTa-largeの語彙に追加する。
• 構造的パターンを活用して合成事前学習データを構築する：TechQAでは、質問-ドキュメントセットから正例・負例ペアを生成し、AskUbuntuでは、既知の重複状態を持つ質問ペアを用いる。
• マスク言語モデルを用いて、ラベルなしの例なしでタスク関連の表現を学習できるように、合成データ上で適応済みRoBERTaモデルを事前学習する。
• 非常に低リソースなTechQAデータセットに対して、語の削除、クエリの短縮、ストップワード除去、タイトルの省略といった摂動を適用することで、訓練データサイズを10倍に拡張するデータ拡張を実施する。
• 標準的な交差エントロピー損失を用いて、下流タスクで最終モデルを微調整し、F1、HA_F1、Match@1、MAPといった標準指標で評価する。
• マルチステージトレーニングパイプラインを用いる：まず語彙を拡張し、次に合成データ上で事前学習を行い、最後にラベル付きデータで微調整する。データ拡張はTechQA設定でのみ適用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルの語彙にドメイン固有用語を追加することで、低リソース下流NLPタスクの性能が向上するか？
• RQ2 ラベルなし構造化ドメインデータ（例：質問-回答ペアやドキュメントテンプレート）から導出された合成事前学習タスクは、トランスファー学習性能を向上させるか？
• RQ3 非常に低リソースな設定（600例の訓練例しか存在しないTechQAなど）において、単純な摂動によるデータ拡張はどの程度効果的か？
• RQ4 語彙拡張、合成事前学習、データ拡張の組み合わせは、RoBERTa-largeにおける標準的微調整をどの程度上回るか？
• RQ5 抽出的読解、ドキュメントランクイング、重複質問検出というITドメインタスクにおいて、適応済みモデルの性能は強力なベースラインと比べてどの程度か？

主な発見

• RoBERTa-largeの語彙に10,000語のドメイン固有サブワードトークンを追加することで、TechQA抽出的読解タスクでHA_F1が1.7ポイント向上した。
• RC形式のデータ（正例・負例ペア）上で合成事前学習を実施した結果、TechQA-RCタスクでHA_F1が2.8ポイント、F1が0.5ポイント向上した。
• データ拡張により、TechQA-RCタスクでHA_F1およびF1の両方で約1ポイントの向上が得られ、極めて低リソースな環境でも有効であることが示された。
• TechQA-DRドキュメントランクイングタスクにおいて、合成事前学習は標準的言語モデル学習よりもMatch@1を2.9ポイント向上させ、補助タスクからの強力なトランスファー効果を示した。
• AskUbuntu-DQDにおいて、最終モデルはすべての指標でRoBERTa-largeベースラインを上回り、特に合成事前学習による向上が最大（相対的に10%以上）であった。
• 語彙拡張、合成事前学習、データ拡張の組み合わせは、すべての3つのタスクで最も優れた結果を達成し、標準的微調整を著しく上回った。