[論文レビュー] Multi-Domain Neural Machine Translation

Sander Tars, Mark Fishel|arXiv (Cornell University)|May 6, 2018

Natural Language Processing Techniques被引用数 24

ひとこと要約

本論文は、ドメインタグを付加するか、ドメイン埋め込みを入力系列に統合することで、テキストドメインを別々の言語として扱う多ドメインニューラル機械翻訳（NMT）フレームワークを提案する。両手法とも標準的なファインチューニングや単一ドメインモデルを著しく上回ることを示しており、文の非教師付きクラスタリングにより、事前にラベル付けされたドメインがなくてもドメインに適応した翻訳が効果的に可能であることを示している。

ABSTRACT

We present an approach to neural machine translation (NMT) that supports multiple domains in a single model and allows switching between the domains when translating. The core idea is to treat text domains as distinct languages and use multilingual NMT methods to create multi-domain translation systems, we show that this approach results in significant translation quality gains over fine-tuning. We also explore whether the knowledge of pre-specified text domains is necessary, turns out that it is after all, but also that when it is not known quite high translation quality can be reached.

研究の動機と目的

• ドメイン固有のファインチューニングにおける制限を解決すること。これは、ドメイン外のテキストでは性能が低下し、過学習を避けるために十分なドメイン内データを必要とすることに起因する。
• 多言語NMT技術を用いてテキストドメインを別々の言語として扱うことで、複数ドメインにわたる翻訳品質が向上するかを検討すること。
• 非教師付き文クラスタリングを用いて手動で事前にラベル付けされたドメインを自動で導出するドメインに置き換えることの可能性と有効性を調査すること。
• 教師ありおよび非教師あり設定の両方で、ドメインタギングとドメイン埋め込み統合手法の性能を評価すること。
• パラメータ共有を用いた多ドメインNMTが、事前にドメイン知識がなくてもファインチューニングモデルよりも一般化性能が優れており、一部のケースでは高い性能を達成できることを示すこと。

提案手法

• Johnsonら（2016）の多言語NMTアプローチを応用し、各ソース文の先頭にドメインIDトークン（例：'__OpenSubs'）を付加することで、ドメインを別々の言語として扱う。
• 各デコーダータイムステップで単語埋め込みにドメイン埋め込みを連結することで、ドメイン埋め込みを入力特徴として統合し、モデルがシーケンス全体を通してドメイン固有の表現に注目できるようにする。
• 事前にラベル付けされたドメインが利用できない場合に、平行コーパスに対して非教師付き文クラスタリングを適用し、自動的にドメインクラスタを導出する。クラスタリングにより、手動でのドメインタギングを置き換える。
• 複数のドメインからのデータを用いて1つの多ドメインNMTモデルを訓練する。トレーニング中はドメイン固有のデータを別々の言語ペアとして扱う。
• 推論時にドメイン分類を実行し、入力文を最も類似したクラスタに割り当て、対応するドメインに適応したモデルで翻訳する。
• Wikipedia、OpenSubtitles、ニュースコーパスを含む複数のテキストドメインで、標準的なファインチューニングや均一翻訳ベースラインと比較して、提案手法の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 多言語NMTフレームワーク内でテキストドメインを別々の言語として扱うことで、標準的なファインチューニングと比較して、複数ドメインにわたる翻訳品質が向上するか？
• RQ2 各タイムステップでドメイン埋め込みを入力特徴として統合することは、ソースシーケンスにドメインタグを単に付加するのと比較して、より高い性能をもたらすか？
• RQ3 非教師付き文クラスタリングは、多ドメインNMTにおける手動で事前にラベル付けされたドメインをどの程度代替可能であり、翻訳品質にどのような影響を与えるか？
• RQ4 入力ドメインの情報が推論時に不明であっても、パラメータ共有を用いた多ドメインNMTの性能はファインチューニングを上回るか？
• RQ5 非教師付きドメインセグメンテーションにおけるクラスタ数が翻訳性能に与える影響は何か？ドメイン一般化の観点から最適なクラスタ数は存在するか？

主な発見

• ドメインタギング（付加によるもの）とドメイン埋め込み統合の両手法が、評価されたすべてのドメインで標準的なファインチューニングや均一翻訳ベースラインを著しく上回る性能を示した。
• 各タイムステップでドメイン特徴を単語埋め込みに連結するドメイン埋め込み統合手法は、ドメインタグの付加よりもわずかに高い翻訳スコアを達成しており、特に高精度な設定で顕著であった。
• 非教師付き文クラスタリングにより、事前にラベル付けされたドメインがなくても、効果的なドメインに適応した翻訳が可能であり、ラベル付きドメインで訓練されたモデルと同等またはそれ以上の性能を達成した。
• パラメータ共有を用いた多ドメインNMTモデルは、ファインチューニングモデルよりも一般化性能が優れており、ドメイン全体で強い性能を維持するとともに、ドメイン内翻訳品質も向上させた。
• ドメイン情報が推論時に不明であっても、非教師付きアプローチは高い翻訳品質を達成しており、一部のケースでは事前にドメインが分かっているモデルを上回った。
• 結果から、多ドメインNMTにおけるパラメータ共有効果が過学習を軽減し、表現学習を強化することで、頑健で一般化可能な翻訳モデルを実現していることが示唆された。