[論文レビュー] Unsupervised Domain Adaptation with Adapter

Rongsheng Zhang, Yinhe Zheng+2 more|arXiv (Cornell University)|Nov 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 8

ひとこと要約

本論文は、事前学習言語モデル（PrLM）に微調整可能なアダプタモジュールを挿入し、元のPrLM重みを凍結したまま、自然言語処理における教師なしドメイン適応（UDA）のためのアダプタベースの微調整手法を提案する。この手法は2段階の訓練プロセス——ソースドメインおよびターゲットドメインの混合データを用いたドメイン統合訓練、その後にタスク固有の微調整——を採用しており、パラメータ効率性と知識保持性が向上し、SOTAの性能を達成している。特に、SDAとXNLIの各ベンチマークで、フル微調整ベースラインをそれぞれ1.21%および1.09%上回っている。

ABSTRACT

Unsupervised domain adaptation (UDA) with pre-trained language models (PrLM) has achieved promising results since these pre-trained models embed generic knowledge learned from various domains. However, fine-tuning all the parameters of the PrLM on a small domain-specific corpus distort the learned generic knowledge, and it is also expensive to deployment a whole fine-tuned PrLM for each domain. This paper explores an adapter-based fine-tuning approach for unsupervised domain adaptation. Specifically, several trainable adapter modules are inserted in a PrLM, and the embedded generic knowledge is preserved by fixing the parameters of the original PrLM at fine-tuning. A domain-fusion scheme is introduced to train these adapters using a mix-domain corpus to better capture transferable features. Elaborated experiments on two benchmark datasets are carried out, and the results demonstrate that our approach is effective with different tasks, dataset sizes, and domain similarities.

研究の動機と目的

• ドメイン固有の教師なしドメイン適応（UDA）のための、全事前学習言語モデル（PrLM）を微調整する際の知識の歪みと高い展開コストを解決すること。
• ドメイン適応中にPrLMのパラメータを凍結することで、PrLMに埋め込まれた汎用的知識を保持すること。
• パラメータ効率の良いアダプタモジュールを用いて、ドメイン間での特徴の転送性を向上させること。
• ドメイン統合とタスク固有の微調整の2段階訓練プロセスが、UDA性能を向上させる有効性を検証すること。

提案手法

• 変換器ベースの事前学習言語モデル（PrLM）に微調整可能なアダプタモジュールを挿入し、訓練中はすべての元のPrLMパラメータを凍結する。
• 2段階の訓練プロセスを適用：まず、ソースドメインおよびターゲットドメインの混合コーパスを用いてマスク言語モデル（MLM）損失に基づくドメイン統合訓練を実施；次に、ソースドメインデータを用いてタスク固有の損失に基づくタスク固有の微調整を実施。
• 多様なドメインデータ上で同時に最適化することで、ドメイン間で転送可能な特徴を学習するため、ドメイン統合訓練を実施。
• パラメータオーバーヘッドを最小限に抑えるために、ダウンプロジェクション、フィードフォワードネットワーク、アッププロジェクションの3層構造を持つボトルネックアーキテクチャのアダプタを実装。
• t-SNEを用いて隠れ表現の可視化を行い、異なるドメイン統合戦略下でのドメイン整合性と特徴転送性を分析。
• データサイズやドメイン類似度の変動を想定し、2つのベンチマークデータセット（SDAとXNLI）上で評価を実施。

実験結果

リサーチクエスチョン

• RQ1 アダプタベースの微調整は、教師なしドメイン適応の過程で、事前学習言語モデルに埋め込まれた汎用的知識を保持できるか？
• RQ2 ドメイン統合とタスク固有の微調整の2段階訓練プロセスは、標準的な微調整と比較して、UDA性能を向上させるのにどの程度有効か？
• RQ3 混合ドメインデータを用いたドメイン統合訓練は、特にドメインが類似している場合に特徴転送性を向上させるか？
• RQ4 UDA設定において、データサイズやドメイン類似度の違いがモデル性能にどのように影響するか？
• RQ5 知識保持性と下流タスクの精度向上の観点から、アダプタベースの適応はフル微調整よりも効果的か？

主な発見

• 提案手法は、SDAデータセットでフル微調整を1.21%、XNLIデータセットで1.09%上回る絶対的性能向上を達成しており、優れた性能を示している。
• 小規模なSDAデータセットでは、2段階訓練プロセスによりアダプタの有効性が約6倍に向上し、性能が92.89%から93.31%に向上した。
• ドメイン統合訓練は、ドメインが類似しているSDAでは1.14%の性能向上をもたらしたが、ドメインが類似しないXNLIではわずか0.22%にとどまり、ドメイン類似度に高い感受性を示している。
• t-SNE可視化の結果、アダプタを用いたドメイン統合は、フルモデルのドメイン統合やドメイン統合なしのケースと比較して、より分離され、より整合性の高い隠れ表現を生成していることがわかった。
• ドメイン統合なしでは、アダプタモジュール単体での性能向上はSDAでわずか0.07%にとどまるが、2段階プロセスを適用すると0.87%の向上が得られ、小規模データではドメイン統合の必要性が顕著に現れている。
• アダプタパラメータのみを微調整するため、全モデル再訓練を各ドメインごとに実施するコストを回避でき、高い効率性とスケーラビリティを維持している。