[論文レビュー] Improving Domain Adaptation Translation with Domain Invariant and Specific Information

Shuhao Gu, Yang Feng+1 more|arXiv (Cornell University)|Apr 8, 2019

Natural Language Processing Techniques参考文献 30被引用数 8

ひとこと要約

本論文は、ドメイン固有でない特徴量とドメイン固有の特徴量を明示的に分離する、共有（共通）およびプライベートなエンコーダー/デコーダーを各ドメインに割り当て、ドメイン識別器による adversarial training を組み合わせた、新しいニューラル機械翻訳フレームワークを提案する。この手法は、複数のデータセットおよびモデルでドメイン内翻訳性能を顕著に向上させ、微調整やサンプリングベースのアプローチを含む強力なベースラインを上回る。また、ドメイン外の翻訳性能は維持またはわずかに向上させる。

ABSTRACT

In domain adaptation for neural machine translation, translation performance can benefit from separating features into domain-specific features and common features. In this paper, we propose a method to explicitly model the two kinds of information in the encoder-decoder framework so as to exploit out-of-domain data in in-domain training. In our method, we maintain a private encoder and a private decoder for each domain which are used to model domain-specific information. In the meantime, we introduce a common encoder and a common decoder shared by all the domains which can only have domain-independent information flow through. Besides, we add a discriminator to the shared encoder and employ adversarial training for the whole model to reinforce the performance of information separation and machine translation simultaneously. Experiment results show that our method can outperform competitive baselines greatly on multiple data sets.

研究の動機と目的

• 豊富なドメイン外並列データを活用して、リソースが限られたドメイン内でのニューラル機械翻訳を改善すること。
• ドメイン外データをドメイン内データと直接組み合わせた場合の過学習のリスクに対処すること。
• 翻訳フレームワーク内で、ドメイン間で共通する知識（ドメイン不変知識）と、各ドメイン固有の知識（ドメイン特異的知識）を明示的にモデル化すること。
• adversarial training を用いて、ドメイン不変およびドメイン特異的表現の間の特徴量の分離を強化すること。
• プライベートエンコーダーに加えてプライベートデコーダーの有効性を示し、ドメイン内翻訳性能の向上を実現すること。

提案手法

• モデルは、すべてのドメインに共通するドメイン不変特徴量を抽出するための共有エンコーダーとデコーダーを用い、各ドメインは独自のプライベートエンコーダーとデコーダーを備えてドメイン特異的特徴量をモデル化する。
• 共有エンコーダーは adversarial learning を用いてドメイン識別器と訓練され、ドメイン不変情報のみを抽出するように保証される。
• 各ドメインの最終的な翻訳出力は、そのドメインの共有デコーダー出力とプライベートデコーダー出力の組み合わせによって生成される。
• ドメイン不変表現学習を強制するために、共有エンコーダーと識別器の間で adversarial training が適用される。
• このアーキテクチャは、RNNベース（RNNSearch）およびTransformerベースのモデルの両方で評価され、さまざまなNMTフレームワークに一般化可能であることが示された。
• t-SNE可視化と隠れ状態座標分析を用いて、ドメイン不変およびドメイン特異的特徴量の分離が実証的に検証された。

実験結果

リサーチクエスチョン

• RQ1 ドメイン不変およびドメイン特異的特徴量の明示的分離が、ドメイン内ニューラル機械翻訳性能の向上に寄与するか？
• RQ2 プライベートエンコーダーに加えてプライベートデコーダーを導入することで、プライベートエンコーダーのみのモデルよりも性能が向上するか？
• RQ3 共有エンコーダーに対して adversarial training を適用することで、ドメイン不変表現学習が効果的に強制されるか？
• RQ4 微調整やデータサンプリングベースラインと比較して、本手法のドメイン内およびドメイン外翻訳性能はどのように異なるか？
• RQ5 モデルの特徴空間における分離度が、翻訳品質の向上とどの程度相関しているか？

主な発見

• 提案手法はドメイン内翻訳性能において顕著な向上を達成し、微調整やサンプリングベースの手法を含む強力なベースラインを上回った。これは、英語→中国語および英語→ドイツ語翻訳タスクの両方で確認された。
• Transformerモデルを用いた英語→中国語翻訳タスクでは、テストセットでBLEUスコア37.26を達成し、微調整ベースライン（34.03）およびサンプリング手法（33.68）を上回った。
• ドメイン識別器を搭載しないモデル（’-DCN’）は、t-SNE可視化で異なるドメインの隠れ状態が顕著に重複しており、ドメイン情報が混合していることが示された。
• 完全なモデルでは、ドメイン内とドメイン外の隠れ状態座標間の平均距離が21.3にまで低下し、より良いドメイン分離と効果的なドメイン不変表現学習が実現された。
• 本手法はドメイン外翻訳性能を維持またはわずかに向上させ、微調整で見られる「壊滅的忘却」を回避した。NISTテストセットではBLEUスコア22.61を記録し、微調整の13.18を上回った。
• アブレーションスタディにより、プライベートデコーダーとドメイン識別器の両方が性能向上に顕著に寄与していることが確認され、設計選択の妥当性が裏付けられた。