[論文レビュー] Simple, Scalable Adaptation for Neural Machine Translation

Ankur Bapna, Naveen Arivazhagan+1 more|arXiv (Cornell University)|Sep 18, 2019

Natural Language Processing Techniques参考文献 37被引用数 13

ひとこと要約

この論文では、複数のドメインおよび言語向けに効率的でパラメータ効率的な適応を可能にするために、事前学習済みNMTモデルに軽量なアダプタ層を挿入する手法を提案する。主モデルのパラメータを凍結したまま、これらの小さなタスク固有のアダプタのみを微調整することで、ドメイン適応および103言語の大量マルチリンガル翻訳において、フル微調整と同等の性能を達成し、パラメータのオーバーヘッドを著しく削減するとともに、ハイパーパramータチューニングの必要性を排除する。

ABSTRACT

Fine-tuning pre-trained Neural Machine Translation (NMT) models is the dominant approach for adapting to new languages and domains. However, fine-tuning requires adapting and maintaining a separate model for each target task. We propose a simple yet efficient approach for adaptation in NMT. Our proposed approach consists of injecting tiny task specific adapter layers into a pre-trained model. These lightweight adapters, with just a small fraction of the original model size, adapt the model to multiple individual tasks simultaneously. We evaluate our approach on two tasks: (i) Domain Adaptation and (ii) Massively Multilingual NMT. Experiments on domain adaptation demonstrate that our proposed approach is on par with full fine-tuning on various domains, dataset sizes and model capacities. On a massively multilingual dataset of 103 languages, our adaptation approach bridges the gap between individual bilingual models and one massively multilingual model for most language pairs, paving the way towards universal machine translation.

研究の動機と目的

• 複数のドメインおよび低リソース言語向けNMT適応におけるフル微調整の非効率性とスケーラビリティの問題を解決すること。
• 言語やドメインごとに個別のモデルを維持する必要を減らすために、1つのモデルが同時に複数のタスクに適応できるようにすること。
• パラメータ効率的でハイパーパramータに敏感でない方法を開発し、適応中に深刻な忘却を回避すること。
• 高リソース言語ペアの性能を劣化させることなく、大量マルチリンガル環境下での低リソース言語の翻訳品質を向上させること。
• タスクの複雑さやデータ量に応じてアダプタ容量を調整することで、柔軟な適応を可能にすること。

提案手法

• 事前学習済みのTransformer NMTモデルの層の間に、小さなタスク固有のアダプタ層を挿入し、主モデルのパラメータを凍結する。
• パラメータ効率と容量を制御するため、ボトルネック構造（ダウンプロージェクション、ReLU、アッププロージェクション）を備えた残差アダプタブロックを用いる。
• ベースモデルを固定したまま、ターゲットドメインや言語固有のデータに対してのみアダプタパラメータを微調整する。
• 103言語で1つのグローバルマルチリンガルモデルを学習した後、各言語ペアに特化したアダプタを挿入し、個別に微調整する。
• タスクの複雑さやデータ量に応じてアダプタのボトルネック次元（b=2048 または b=4096）を調整し、高リソース言語にはより大きなアダプタを用いる。
• 個別の微調整段階を終えた後、すべての微調整済みアダプタを1つのモデルに統合し、マルチタスク推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つの事前学習済みNMTモデルが、小さなタスク固有のアダプタ層のみを用いて、複数のドメインおよび言語に効率的に適応可能か？
• RQ2 アダプタベースの適応は、パラメータのオーバーヘッドと学習の複雑さを削減しながら、フル微調整と同等の性能を達成できるか？
• RQ3 アダプタは、特に低リソース言語ペアにおいて、二言語モデルと1つのマルチリンガルモデルの間の性能格差を効果的に埋め合わせることができるか？
• RQ4 ボトルネックサイズ（アダプタ容量）が、異なるデータサイズおよび言語リソースレベルにおいて性能にどのように影響するか？
• RQ5 アダプタは、複数のドメインおよび言語に同時に適応させることで、深刻な忘却を引き起こさずに運用可能か？

主な発見

• アダプタベースの適応により、さまざまなドメイン、データセットサイズ、モデル容量において、フル微調整と同等の翻訳性能が達成され、更新されるパラメータの数はごくわずかに抑えられる。
• 103言語のマルチリンガルNMT環境において、アダプタはマルチリンガルモデルと二言語モデルの間の性能格差を顕著に縮小し、特に低リソース言語ペアにおいて顕著な効果を示す。
• 高リソース言語ペアでは、アダプタサイズを拡大することで（例：b=4096）、さらなる性能向上が得られ、アダプタ容量のスケーリングの柔軟性が実証された。
• 言語やドメインごとに個別のモデルを学習する必要を回避することで、メモリと学習コストを削減し、スケーラブルなマルチタスク適応を実現した。
• 改善が見られたものの、英語への翻訳において高リソース言語の性能は、二言語ベースラインと比較してわずかな劣化が残っており、さらなる最適化の余地があることが示唆された。
• アダプタ微調整は、トレーニングを初期から行うのと比べて収束が早く、コーパスサイズに応じて通常20k～50kステップ程度で完了する。これは、学習可能なパラメータ数が少ないためである。