[論文レビュー] Multi-Domain Adaptation in Neural Machine Translation Through Multidimensional Tagging

Emmanouil Stergiadis, Satendra Kumar+2 more|arXiv (Cornell University)|Feb 19, 2021

Natural Language Processing Techniques参考文献 32被引用数 7

ひとこと要約

本稿では、トレーニングおよび推論時に文単位の多次元タグを挿入することで、レビュー、メッセージング、物件説明など複数のサブドメインを同時に微調整する、新しいニューラル機械翻訳（NMT）モデルの手法であるマルチドメイン翻訳（MDT）を提案する。MDTは、別個のドメイン特化モデルと同等またはそれ以上の性能を達成し、開発および保守コストをN倍削減しながら、多様な言語的スタイルにおいて高い流暢さと適切さを維持する。

ABSTRACT

While NMT has achieved remarkable results in the last 5 years, production systems come with strict quality requirements in arbitrarily niche domains that are not always adequately covered by readily available parallel corpora. This is typically addressed by training domain specific models, using fine-tuning methods and some variation of back-translation on top of in-domain monolingual corpora. However, industrial practitioners can rarely afford to focus on a single domain. A far more typical scenario includes a set of closely related, yet succinctly different sub-domains. At Booking.com, we need to translate property descriptions, user reviews, as well as messages, (for example those sent between a customer and an agent or property manager). An editor might need to translate articles across a set of different topics. An e-commerce platform would typically need to translate both the description of each item and the user generated content related to them. To this end, we propose MDT: a novel method to simultaneously fine-tune on several sub-domains by passing multidimensional sentence-level information to the model during training and inference. We show that MDT achieves results competitive to N specialist models each fine-tuned on a single constituent domain, while effectively serving all N sub-domains, therefore cutting development and maintenance costs by the same factor. Besides BLEU (industry standard automatic evaluation metric known to only weakly correlate with human judgement) we also report rigorous human evaluation results for all models and sub-domains as well as specific examples that better contextualise the performance of each model in terms of adequacy and fluency. To facilitate further research, we plan to make the code available upon acceptance.

研究の動機と目的

• 産業的環境において、複数の密接に関連するサブドメインにわたり、高品質で低リソースのドメイン特化翻訳システムを展開する課題に対処すること。
• 各ドメインごとに別々のモデルを保守する高コストかつ高複雑性の問題を軽減し、1つのモデルが複数のサブドメインを処理可能にする仕組みを提供すること。
• 並列単語対データが乏しいニッチドメインにおける翻訳品質を、タグ付きのバックトランスレーションおよびドメインに配慮した微調整を用いて向上させること。
• BLEUを超えた評価を実施し、多様なドメインにおける流暢さと適切さについて、人的評価を含めた包括的な評価を実施すること。
• 実世界のECおよび旅行プラットフォームにおける多言語・マルチドメイン翻訳のスケーラブルで生産環境対応のソリューションを提供すること。

提案手法

• 汎用並列データで事前学習されたベースNMTモデルと、バックトランスレーション用の逆方向のターゲット→ソースモデルを用いる。
• ドメイン内単語対データを逆モデルを用いてバックトランスレーションし、合成並列データを生成する。
• 合成データを実際のドメイン内並列データと組み合わせ、アップサンプリングして微調整用データセットを構築する。
• 各文に2つの特別トークンを付与する：$<$ SYNTHETIC={0,1} $>$ および $<$ DOMAIN={reviews,messaging,descriptions} $>$ により、データの出どころとドメインを示す。
• ベースモデルを混合・タグ付きデータセット上で微調整することで、トレーニング中にドメイン固有のニュアンスを学習可能にする。
• 推論時にも、テスト時にドメインタグを提供することで、モデル出力を目的のサブドメインに条件づける。

実験結果

リサーチクエスチョン

• RQ1 別々のドメイン毎に微調整を行わない1つのNMTモデルが、複数の明確に異なるサブドメインで競争力のある性能を達成できるか？
• RQ2 ドメインと合成データフラグの両方を含む多次元タギングは、単一ドメイン微調整と比較して翻訳品質にどのように影響するか？
• RQ3 MDTは、多様な言語的スタイルにおいて、流暢さと適切さの観点から専門モデルを上回るか、同等の性能を示すか？
• RQ4 ドメインとデータタイプをタグ付けした合成データと実データの両方を含めることで、モデルの一般化性能にどのような影響を与えるか？
• RQ5 1つのモデルでN個のサブドメインを処理する場合と、N個の別々のモデルを用いる場合の、モデルの複雑さ、トレーニングコスト、性能のトレードオフはいかほどか？

主な発見

• MDTは、すべてのサブドメイン（レビュー、メッセージング、説明文）で、単一ドメイン微調整モデルと同等またはそれ以上のBLEUスコアを達成した。
• 人的評価では、MDTは高い流暢さと適切さを維持しており、専門モデルの翻訳よりも自然で文脈的に適切な翻訳を生成するケースが多かった。
• メッセージングドメインでは、MDTが上位10のベースラインモデルを上回り、より正確で文法的に正しい翻訳を生成した。
• 開発および保守コストがN倍削減された。1つのモデルがすべてのN個のサブドメインを処理するため、N個の別々のモデルを維持する必要がなくなった。
• トレーニングおよび推論時間はベースラインモデルと同等であり、微調整は単一GPUでわずか16時間で完了したため、顕著な計算オーバーヘッドはなかった。
• 具体的な例では、MDTがより自然な表現（例：'we would like to bring our Dalmatian dog Elli' と 'Elli our Dalmatian bitch'）を生成し、ドメイン固有の表現の処理も優れていた。