[論文レビュー] Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings

Zi-Yi Dou, Junjie Hu+2 more|arXiv (Cornell University)|Aug 27, 2019

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、ニューラル機械翻訳におけるモデル中心の教師なしドメイン適応手法として、ドメインに配慮した特徴埋め込み（DAFE）を提案する。DAFEは、補助的言語モデル学習タスクを通じてドメイン固有の表現を学習する。隠れ状態をドメイン意識的およびタスク意識的成分に分離することで、ドメイン内平行データが存在しない状況下でも、制御可能でドメイン適応された翻訳が可能となり、ベースラインより最大5 BLEUポイントの向上を達成し、バックトランスレーションと組み合わせることで補完的な向上効果を示す。

ABSTRACT

The recent success of neural machine translation models relies on the availability of high quality, in-domain data. Domain adaptation is required when domain-specific data is scarce or nonexistent. Previous unsupervised domain adaptation strategies include training the model with in-domain copied monolingual or back-translated data. However, these methods use generic representations for text regardless of domain shift, which makes it infeasible for translation models to control outputs conditional on a specific domain. In this work, we propose an approach that adapts models with domain-aware feature embeddings, which are learned via an auxiliary language modeling task. Our approach allows the model to assign domain-specific representations to words and output sentences in the desired domain. Our empirical results demonstrate the effectiveness of the proposed strategy, achieving consistent improvements in multiple experimental settings. In addition, we show that combining our method with back translation can further improve the performance of the model.

研究の動機と目的

• ドメイン内平行データが利用できない低リソースまたはドメイン外設定におけるNMT性能の低さという課題に対処すること。
• 既存の教師なしドメイン適応手法で用いられる汎用的表現の限界を克服し、ドメイン固有の意味を適切にモデル化すること。
• ドメインに配慮した表現を学習することで、制御可能でドメイン固有の翻訳出力を実現すること。
• 低データ環境でも有効であり、バックトランスレーションのようなデータ中心的手法と補完的である方法を開発すること。

提案手法

• DAFEは、共有ベースネットワークと、ドメインおよびタスクに配慮した特徴埋め込み学習器に分離されたモデルを採用し、ドメイン固有の表現を生成する。
• ドメインに配慮した特徴埋め込みは、モノリンガルデータ上での補助的言語モデル学習目的を通じて学習され、ドメイン内平行データが存在しない状況下でもドメイン固有の表現学習が可能になる。
• 最終層の出力は、ベースネットワークの表現と学習済みのドメインおよびタスク埋め込みを要素ごとの加算によって統合することで得られる。
• 本手法は、ドメイン間で共有ベースパラメータを有するTransformerベースのNMTアーキテクチャに統合可能であり、エンドツーエンドの学習が可能である。
• 推論時にデコーダーを希望するドメイン埋め込みに条件づけることで、ドメイン制御が実現され、ターゲットドメインへの出力生成が可能になる。
• 本手法は低リソースおよびマルチドメイン設定の両方で評価され、部品貢献の妥当性を検証するためのアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 汎用的表現の代わりにドメインに配慮した表現を学習することで、NMTにおける教師なしドメイン適応の性能向上が図れるか？
• RQ2 提案されたDAFE手法は、標準的なバックトランスレーションやデータコピー手法と比較して、出力ドメインに対する制御性を向上させられるか？
• RQ3 バックトランスレーションが低品質な合成データのため性能が低下する可能性がある低リソース設定において、DAFEはどのように性能を発揮するか？
• RQ4 DAFEはバックトランスレーションのようなデータ中心的手法と補完的であるか？また、両者を効果的に組み合わせられるか？
• RQ5 正しいドメイン埋め込みに条件づけられた場合、モデルはドメイン固有の語彙や表現を生成できるか？

主な発見

• DAFEは、ドイツ語-英語、チェコ語-英語、およびマルチリンガル設定を含む複数のドメインペアにおいて、未適応ベースラインより最大5 BLEUポイントの向上を達成した。
• WMT'14ドイツ語-英語医療翻訳タスクでは、DAFEにより24.61 BLEU（ベースライン）から26.75 BLEUに向上し、バックトランスレーションと組み合わせると28.09 BLEUにまで向上した。
• 低リソース設定では、バックトランスレーションが低品質な合成データのため性能が低下するのに対し、DAFEは顕著に優れた性能を示した。
• 不一致なドメイン埋め込みを入力すると性能が低下することが確認され、ドメイン制御が効果的かつ意図的に行われていることが裏付けられた。
• モデルはドメイン固有の用語を生成することができ、医療埋め込みでは「EMEA」や「intramuscular」、IT埋め込みでは「bug」や「developers」が生成され、成功したドメイン制御を示した。
• DAFEとバックトランスレーションを組み合わせることで最高の性能が達成され、MEDタスクで38.79 BLEUを記録した。これは、両手法の直交性および補完性を示している。