[論文レビュー] Domain Adaptation and Multi-Domain Adaptation for Neural Machine Translation: A Survey

Danielle Saunders|arXiv (Cornell University)|Apr 14, 2021

Natural Language Processing Techniques被引用数 6

ひとこと要約

本調査は、ニューラル機械翻訳（NMT）におけるドメイン適応（DA）およびマルチドメイン適応（MDA）技術について包括的な概要を提供し、データ中心的、アーキテクチャ中心的、パラメータ適応、推論ベースのアプローチに分類して手法を整理している。Catastrophic forgetting（途切れ的忘却）や過学習といった課題を強調し、今後の主な方向性として、細粒度適応、教師なし適応、効率性、およびニューラルアンリーニングによる意図的な忘却を特定している。

ABSTRACT

The development of deep learning techniques has allowed Neural Machine Translation (NMT) models to become extremely powerful, given sufficient training data and training time. However, systems struggle when translating text from a new domain with a distinct style or vocabulary. Fine-tuning on in-domain data allows good domain adaptation, but requires sufficient relevant bilingual data. Even if this is available, simple fine-tuning can cause overfitting to new data and `catastrophic forgetting' of previously learned behaviour. We concentrate on robust approaches to domain adaptation for NMT, particularly where a system may need to translate across multiple domains. We divide techniques into those revolving around data selection or generation, model architecture, parameter adaptation procedure, and inference procedure. We finally highlight the benefits of domain adaptation and multi-domain adaptation techniques to other lines of NMT research.

研究の動機と目的

• ニューラル機械翻訳（NMT）におけるドメイン適応およびマルチドメイン適応の既存手法を体系的にレビューすること。
• NMTモデルを新しいドメインに適応させる際の課題、例えば途切れ的忘却、過学習、データ不足を特定すること。
• ドメイン適応手法が、低リソース翻訳、バイアス低減、文書レベル翻訳など、NMT研究の広範な分野にどのように利益をもたらすかを調査すること。
• 教師なし適応、細粒度チューニング、ニューラルアンリーニングによる意図的忘却といった、新たなトレンドを強調すること。
• 効率性、スケーラビリティ、NMTシステムの耐性に関する主要な未解決課題を特定することで、今後の研究を導くこと。

提案手法

• ドメイン適応手法を4つの主要クラスに分類：データ選択／生成、モデルアーキテクチャの変更、パラメータ適応手順、推論時適応。
• ファインチューニングをベースライン手法としてレビューし、限られたデータで新しいドメインに適用する際の過学習や途切れ的忘却といった制限を特定。
• データ中心の戦略を検討：ドメイン内データの選択、バックトランスレーションを用いた仮想並列データ生成、ドメイン固有の単方向データフィルタリングによる適応。
• アーキテクチャの革新を分析：アダプタ層、アダプタベースのファインチューニング、スパースパラメータ更新により、適応コストを低減し、忘却を防止。
• 再トレーニングなしに出力を適応する推論時手法を検討：動的デコード、アテンションベースのドメインルーティング。
• パラメータスパarsity化、低ランク適応、アンリーニングメカニズムといった技術が、効率性を向上させ、陳腐化したまたはバイアスのある行動を意図的に忘却可能にすることを提言。

実験結果

リサーチクエスチョン

• RQ1 限られたデータで新しいドメインに適応する際、以前に学習した知識を途切れ的忘却せずに効果的に適応する方法は何か？
• RQ2 マルチドメインNMTにおいて、最も効果的なデータ中心的、アーキテクチャ中心的、パラメータ適応戦略は何か？
• RQ3 並列ドメイン内データが不足する状況で、教師なしまたは弱教師あり適応は、性能をどのように向上させ得るか？
• RQ4 文単位またはユーザー単位での細粒度適応を、過学習を避けるために効率的かつ耐性を持って実現する方法は何か？
• RQ5 ニューラルアンリーニングを活用して、陳腐化したまたはバイアスのある翻訳パターンを意図的に忘却させることは可能か？

主な発見

• ファインチューニングはドメイン適応の一般的なベースラインのままだが、限られたデータで新しいドメインに適用する際、過学習や途切れ的忘却のリスクを伴う。
• ドメイン内データ選択やバックトランスレーションを用いた仮想並列データ生成といったデータ中心の戦略は、特に低リソース環境において効果的である。
• アダプタ層やスパースパラメータ更新といったアーキテクチャの変更により、モデル全体を再トレーニングせずに、効率的かつパラメータ効率的な適応が可能になる。
• 推論時適応手法、例えば動的アテンションルーティングや出力補正により、モデル重みを変更せずにドメイン適応が可能になり、効率性が向上する。
• 並列データが入手できない状況では、単方向ドメイン内データを用いた教師なしドメイン適応が有望な方向性である。
• 今後の研究では、効率性、細粒度適応、意図的忘却を優先することで、NMTシステムにおける持続可能性、プライバシー、バイアスの問題に対処すべきである。