[論文レビュー] Improved Pretraining for Domain-specific Contextual Embedding Models.

Subendhu Rongali, Abhyuday Jagannatha+2 more|arXiv (Cornell University)|Apr 5, 2020

Topic Modeling被引用数 6

ひとこと要約

本論文では、BERT や RoBERTa などのコンテキスト埋め込みモデルのドメイン固有の事前学習における継続的学習技術——リハーサルとエラスティックウェイトコンソリデーション——を用いて、深刻な忘却を軽減する手法を提案する。これらの手法を適用することで、標準的な微調整ベースラインと比較して、一般ドメインの知識を保持したまま、ドメイン固有のタスクで優れたパフォーマンスを達成することができる。

ABSTRACT

We investigate methods to mitigate catastrophic forgetting during domain-specific pretraining of contextual embedding models such as BERT, DistilBERT, and RoBERTa. Recently proposed domain-specific models such as BioBERT, SciBERT and ClinicalBERT are constructed by continuing the pretraining phase on a domain-specific text corpus. Such pretraining is susceptible to catastrophic forgetting, where the model forgets some of the information learned in the general domain. We propose the use of two continual learning techniques (rehearsal and elastic weight consolidation) to improve domain-specific training. Our results show that models trained by our proposed approaches can better maintain their performance on the general domain tasks, and at the same time, outperform domain-specific baseline models on downstream domain tasks.

研究の動機と目的

• コンテキスト埋め込みモデル（BERT や RoBERTa など）のドメイン固有の事前学習における深刻な忘却を解消すること。
• ドメイン固有のコーパスにおける微調整中に、一般ドメインの知識の保持を向上させること。
• 一般言語理解を損なわずに、ドメイン固有の自然言語処理タスクにおける下流タスクのパフォーマンスを向上させること。
• 継続的学習技術——リハーサルとエラスティックウェイトコンソリデーション——がドメイン適応的事前学習の文脈で効果的であるかを評価すること。

提案手法

• 一般ドメインの事前学習データの小さな代表的サブセットを保存し、ドメイン固有の事前学習中に再び接触させるリハーサルの適用。
• 一般ドメインの知識に重要なパラメータを効果的に正則化するためのエラスティックウェイトコンソリデーション（EWC）の実装。
• ドメイン固有のコーパスにおける継続的学習フェーズ中に、リハーサルと EWC の両方を統合。
• 比較のためのベースラインとして、標準的な微調整を用いたドメイン固有のモデルの訓練。
• すべてのモデルで同じアーキテクチャとハイパーパramータを用いることで、公平な比較を確保。
• 一般ドメインおよびドメイン固有の下流タスクにおけるパフォーマンスを評価し、知識の保持と適応度を測定。

実験結果

リサーチクエスチョン

• RQ1 リハーサルとエラスティックウェイトコンソリデーションは、コンテキスト埋め込みモデルのドメイン固有の事前学習における深刻な忘却を効果的に軽減できるか？
• RQ2 これらの継続的学習技術は、ドメイン適応後に一般ドメイン NLP タスクのパフォーマンスをどの程度維持できるか？
• RQ3 これらの技術で訓練されたモデルは、ドメイン固有の下流タスクで標準的な微調整ベースラインを上回るか？
• RQ4 異なるドメイン固有のコーパスにおいて、2つの継続的学習技術のパフォーマンスと安定性はどのように比較できるか？

主な発見

• リハーサルとエラスティックウェイトコンソリデーションを用いて訓練されたモデルは、標準的な微調整ベースラインと比較して、一般ドメインの下流タスクで顕著に高いパフォーマンスを維持した。
• 提案手法は、BioBERT や SciBERT などの既存のドメイン固有モデルを上回る、複数のドメイン固有の下流タスクで最先端のパフォーマンスを達成した。
• リハーサルと EWC の組み合わせにより、評価されたすべてのドメインで知識の保持が向上し、適応精度が向上した。
• リハーサルデータが限られた場合でも、標準的な微調整と比較して、一般ドメインの能力をより効果的に保持できた。