[論文レビュー] Domain Control for Neural Machine Translation

Catherine Kobus, Josep Crego+1 more|arXiv (Cornell University)|Dec 19, 2016

Natural Language Processing Techniques参考文献 16被引用数 16

ひとこと要約

本論文は、再訓練を必要とせず、1つのニューラルネットワークが複数のドメインに適応できるランタイムドメイン制御技術を提案する。文レベルでドメイン特徴量をエンコーダーに挿入することで、ドメイン内、ドメイン外、未知ドメインのテストセットにおいて、ベースラインモデルよりも一貫したBLEUスコアの向上を達成する。

ABSTRACT

Machine translation systems are very sensitive to the domains they were trained on. Several domain adaptation techniques have been deeply studied. We propose a new technique for neural machine translation (NMT) that we call domain control which is performed at runtime using a unique neural network covering multiple domains. The presented approach shows quality improvements when compared to dedicated domains translating on any of the covered domains and even on out-of-domain data. In addition, model parameters do not need to be re-estimated for each domain, making this effective to real use cases. Evaluation is carried out on English-to-French translation for two different testing scenarios. We first consider the case where an end-user performs translations on a known domain. Secondly, we consider the scenario where the domain is not known and predicted at the sentence level before translating. Results show consistent accuracy improvements for both conditions.

研究の動機と目的

• トレーニングデータとテストデータにおけるドメインシフトに対するNMTシステムの感受性を軽減すること。
• 再訓練なしに、1つのNMTモデルが複数のドメインで高品質な翻訳を生成できるようにすること。
• 統一アーキテクチャを用いてドメイン内およびドメイン外データの翻訳品質を向上させること。
• よりドメインに配慮した翻訳を実現するため、ドメインメタ情報のニューラルエンコーダーへの効果的な挿入法を検討すること。

提案手法

• ドメイン情報を連続ベクトルとして、エンコーダーの入力層に文レベルで挿入する。
• 各単語にドメイン固有の埋め込みベクトルを追加する特徴ベースのアプローチを採用する。
• Bahdanauら（2014）に基づくアテンション機構を備えた共有エンコーダ-デコーダアーキテクチャを用い、ドメインに配慮した入力特徴を強化する。
• 推論時にRNNベースのドメイン分類器を用い、各文のドメインを事前に予測する。
• 複数のドメインへの文の近接度をモデル化することで、ソフトドメイン表現を導入し、ドメイン誤分類に対するロバストネスを向上させる。
• 6つのドメインでBLEUスコアを評価し、新ドメイン（Dialogs）におけるゼロショットテストも実施する。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしに、1つのNMTモデルが複数のドメインで翻訳品質を向上させられるか？
• RQ2 文レベルでのドメインメタ情報の挿入は、ドメイン特化モデルと比較して翻訳品質にどのように影響するか？
• RQ3 ドメイン制御は、ドメイン外または未知ドメインのテストセットでどの程度性能を向上させられるか？
• RQ4 推論時にドメイン予測が誤った場合、モデルのロバストネスはどの程度保たれるか？
• RQ5 モデルは文レベルでのドメイン分類を学習できるか？また、その分類能力は翻訳品質の向上に寄与するか？

主な発見

• 特徴ベースのドメイン挿入法は、すべてのテストセットでBLEUスコアを向上させ、平均して0.80 BLEUポイントの向上を達成した（Parliamentaryを除く）。
• 追加トークン法は結果が混合しており、一部のドメインでは向上したが、他のドメインでは性能が低下した。これに対して、特徴法は一貫して有益であった。
• RNNベースの分類器によるドメイン誤分類が発生しても、特徴モデルはベースラインのJoinモデルを上回った。これは、予測誤りに対してもロバストであることを示している。
• 誤ったドメインタグが使用された場合、特にITドメインでは翻訳品質が著しく低下した。ドメイン選択の感受性が顕著に現れた。
• 参照翻訳が利用可能な状況で、予測ドメインと実際のドメインの間に高い相関が観察された。これは、モデルがドメイン分類を学習している証左である。
• 訓練データに含まれない新しいドメイン（Dialogs）におけるゼロショットテストでも、モデルはベースラインを上回った。これは優れた一般化性能を示している。