[論文レビュー] Word-based Domain Adaptation for Neural Machine Translation

Yan Shen, Leonard Dahlmann+3 more|arXiv (Cornell University)|Jun 7, 2019

Natural Language Processing Techniques参考文献 22被引用数 4

ひとこと要約

この論文は、eコマース環境におけるニューラル機械翻訳（NMT）の単語レベルのドメイン適応手法を提案する。ドメイン固有の言語モデルと一般言語モデルの対数尤度差を用いて単語の重みを割り当て、滑らかさ処理と2値量子化を施した後、ドメイン外データ内のドメイン内に似た単語を強調することで学習を改善する。これにより、ベースライン手法に比べて最大2.11 BLEUおよび1.59 TERの向上が得られ、微調整と組み合わせることでさらなる向上が得られる。

ABSTRACT

In this paper, we empirically investigate applying word-level weights to adapt neural machine translation to e-commerce domains, where small e-commerce datasets and large out-of-domain datasets are available. In order to mine in-domain like words in the out-of-domain datasets, we compute word weights by using a domain-specific and a non-domain-specific language model followed by smoothing and binary quantization. The baseline model is trained on mixed in-domain and out-of-domain datasets. Experimental results on English to Chinese e-commerce domain translation show that compared to continuing training without word weights, it improves MT quality by up to 2.11% BLEU absolute and 1.59% TER. We have also trained models using fine-tuning on the in-domain data. Pre-training a model with word weights improves fine-tuning up to 1.24% BLEU absolute and 1.64% TER, respectively.

研究の動機と目的

• 少量のドメイン固有データと大量のドメイン外データを活用して、リソースが限られたeコマースドメインの翻訳を改善すること。
• 文やチャンクレベルの重み付けではなく、単語レベルの重み付けによるNMT性能の向上。
• しきい値処理の前に行う滑らかさ処理により、単語スコア割り当てのノイズを低減すること。
• 単語重みを用いた事前学習が、その後のドメイン固有データにおける微調整を向上させることを示すこと。

提案手法

• ドメイン固有言語モデル（LM）とドメイン非特化LMの尤度の対数差を用いて単語スコアを計算する。
• 隣接単語を考慮した重み付き移動平均フィルタを適用して、単語スコアのノイズを低減する。
• 滑らかにしたスコアを2値量子化し、0または1の単語重みを生成することで、ドメイン内に似た単語を選別する。
• 単語重みで交差エントロピー損失をスケーリングする修正された目的関数を用いてNMTモデルを学習する。
• ドメイン固有データでの微調整の前に、単語重みを用いたモデルを事前学習ベースとして使用する。
• 英語→中国語eコマース翻訳ベンチマークでBLEUとTERを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 言語モデル尤度差に基づく単語レベルの重み付けが、リソースが限られたeコマースドメインにおけるNMT性能を向上させることができるか？
• RQ2 スコアの滑らかさ処理が、ドメイン外データ内のドメイン内に似た単語の選別品質に与える影響は？
• RQ3 単語重みを用いた事前学習が、ドメイン固有データへの直接的微調整よりも優れた微調整性能をもたらすか？
• RQ4 単語レベルの重み付けは、文レベルやチャンクレベルの重み付けと比較して、ドメイン適応においてどのように異なるか？

主な発見

• しきい値処理の前にスコアを滑らかにする処理が翻訳品質を顕著に向上させ、BLEUは21.38%から26.14%に、TERは66.25%から60.34%に改善された。
• 単語重みを用いた継続的学習は、単語重みなしでの学習に比べてBLEUが2.11絶対値、TERが1.59絶対値向上した。
• 単語重みを用いた事前学習後に微調整を行うと、直接的微調整に比べてBLEUが1.24絶対値、TERが1.64絶対値向上した。
• 連続する最長単語（LCW）法は、「防/溢出/噴口/内」のような意味のあるドメイン固有のセグメントを効果的に保持し、"空気"のような孤立したノイズ単語を除外できた。
• ランダムな単語マスキングや滑らかでない単語重み付けよりも優れていることから、単語スコア割り当てにおけるノイズ低減の必要性が確認された。
• この手法はインスタンス重み付けを一般化し、ドメイン類似度に基づく個々の単語選別を可能にすることで、リソースが限られた環境でのデータ効率を向上させた。