[論文レビュー] A Survey of Domain Adaptation for Neural Machine Translation

Chenhui Chu, Rui Wang|arXiv (Cornell University)|Jun 1, 2018

Natural Language Processing Techniques参考文献 80被引用数 130

ひとこと要約

ニューラル機械翻訳(NMT)のドメイン適応技術の包括的な調査は、データ中心とモデル中心のアプローチに整理され、現実世界での適用可能性と将来の方向性について議論する。

ABSTRACT

Neural machine translation (NMT) is a deep learning based approach for machine translation, which yields the state-of-the-art translation performance in scenarios where large-scale parallel corpora are available. Although the high-quality and domain-specific translation is crucial in the real world, domain-specific corpora are usually scarce or nonexistent, and thus vanilla NMT performs poorly in such scenarios. Domain adaptation that leverages both out-of-domain parallel corpora as well as monolingual corpora for in-domain translation, is very important for domain-specific translation. In this paper, we give a comprehensive survey of the state-of-the-art domain adaptation techniques for NMT.

研究の動機と目的

• ドメイン固有のコーパスが乏しい状況で、ドメイン特化翻訳の必要性を喚起する。
• NMTのドメイン適応技術を調査・分類し、データ中心とモデル中心のアプローチを区別する。
• ドメイン内のモノリンガルデータ、合成データ、ドメイン外の並列データをNMTドメイン適応にどのように活用できるかを要約する。
• ドメイン適応型NMTにおける実務上の考慮事項、現実世界での展開課題、将来の研究の方向性について議論する。

提案手法

• NMTのドメイン適応手法をデータ中心とモデル中心のパラダイムに分類する。
• データ中心の範囲では、モノリンガルデータの利用、合成並列データ生成、ドメインタグ付きのアウトオブドメイン並列データとオーバーサンプリングの活用を概観する。
• モデル中心では、訓練目的の調整、アーキテクチャの適応（ディープフュージョン、ドメイン識別器、ドメイン制御）、デコード中心の戦略（シャロー・フュージョン、アンサンブル）を扱う。
• 複数ドメイン訓練、データ選択、混合ファインチューニングを、ドメインデータを組み合わせる実用的戦略として論じる。
• 実世界のシナリオの討議と、データ利用可能性に基づく手法の選択に関する指針を提供する。）

実験結果

リサーチクエスチョン

• RQ1 限定的なドメイン内並列データがある状況で、NMTに有効なドメイン適応手法は何か？
• RQ2 ドメイン内モノリンガルデータと合成データをどのように活用して、NMTのドメイン内翻訳品質を向上させるか？
• RQ3 NMTにおけるデータ中心とモデル中心のドメイン適応戦略のトレードオフは何か、そしてそれらは実運用へどのように移行するか？
• RQ4 ドメイン情報をどのように組み込むべきか（例：ドメインタグ、識別器）、NMTでのドメイン特化翻訳を制御・改善するために？
• RQ5 最先端のNMTアーキテクチャや多言語設定へのドメイン適応の適用における、有望な将来の方向性は何か？

主な発見

• 本調査はNMTドメイン適応の2つの主要カテゴリとして、データ中心とモデル中心のアプローチを特定している。
• データ中心の手法には、ドメイン内モノリンガルデータの活用、バックトランスレーションによる合成並列データの生成、ドメインタグ付けやデータ選択技術を用いたドメイン外データの利用が含まれる。
• モデル中心の手法には、訓練目的の調整、アーキテクチャ変更（ディープフュージョンやドメイン識別器など）、デコード戦略（シャロー・フュージョンやラティスベースのデコードなど）を含む。
• マルチドメインとデータ選択戦略を論じ、混合ファインチューニングは、ドメイン外の性能を維持しつつドメイン内翻訳を改善する実用的な利点を提供することが多い。
• 本論文は、ドメイン手法を最先端のNMTアーキテクチャ（RNNs、CNNs、Transformer）に適用する必要性を強調し、敵対的ドメイン適応、ドメイン生成、マルチ言語/multi-domain設定などの将来の方向性について論じている。