[論文レビュー] Non-Autoregressive Machine Translation with Auxiliary Regularization

Yiren Wang, Fei Tian+4 more|arXiv (Cornell University)|Feb 22, 2019

Natural Language Processing Techniques参考文献 18被引用数 18

ひとこと要約

本論文では、非自己回帰的機械翻訳（NAT）の性能を向上させるために、類似性正則化と再構成正則化の2つの補助的正則化手法を提案する。隣接する隠れ状態間の類似性を最小化し、逆翻訳を用いてソース側の再構成を強制することで、繰り返しや不完全な翻訳を低減し、推論速度が自己回帰モデルを上回る中でSOTAのBLEUスコア（IWSLT14 De-Enで30.84）を達成した。

ABSTRACT

As a new neural machine translation approach, Non-Autoregressive machine Translation (NAT) has attracted attention recently due to its high efficiency in inference. However, the high efficiency has come at the cost of not capturing the sequential dependency on the target side of translation, which causes NAT to suffer from two kinds of translation errors: 1) repeated translations (due to indistinguishable adjacent decoder hidden states), and 2) incomplete translations (due to incomplete transfer of source side information via the decoder hidden states). In this paper, we propose to address these two problems by improving the quality of decoder hidden representations via two auxiliary regularization terms in the training process of an NAT model. First, to make the hidden states more distinguishable, we regularize the similarity between consecutive hidden states based on the corresponding target tokens. Second, to force the hidden states to contain all the information in the source sentence, we leverage the dual nature of translation tasks (e.g., English to German and German to English) and minimize a backward reconstruction error to ensure that the hidden states of the NAT decoder are able to recover the source side sentence. Extensive experiments conducted on several benchmark datasets show that both regularization strategies are effective and can alleviate the issues of repeated translations and incomplete translations in NAT models. The accuracy of NAT models is therefore improved significantly over the state-of-the-art NAT models with even better efficiency for inference.

研究の動機と目的

• 非自己回帰的機械翻訳（NAT）モデルにおける繰り返しや不完全な翻訳エラーを是正すること。
• 離散変数を導入せず、推論効率を損なわずにデコーダー隠れ表現の質を向上させること。
• NATと自己回帰的NMTモデルの性能格差を縮小しながら、高い推論速度を維持すること。
• NAT学習における複雑な潜在変数機構の代替として、正則化ベースの手法を検討すること。

提案手法

• 隣接するデコーダー隠れ状態のコサイン類似度を、それに対応するターゲットトークン埋め込みの類似度と一致させるために、類似性正則化を導入する。
• NATデコーダー出力の上に逆自己回帰翻訳器を訓練することで、再構成正則化を適用し、隠れ状態が完全なソース情報を持続することを保証する。
• 最適化中に両正則化項を併用してNATモデルを訓練するが、推論時にはこれらを破棄することで速度を維持する。
• 翻訳タスクの二重性（例：英語-ドイツ語およびドイツ語-英語）を活用し、逆再構成を自己教師信号として利用する。
• 実際のデコーディング条件を想定して性能を評価するため、教師モデル蒸留と候補再スコアリングを用いる。
• 標準的なクロスエントロピー損失に、2つの補助正則化項を追加して、NATモデルをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 補助正則化は、非自己回帰翻訳モデルにおけるデコーダー隠れ状態の質を向上させることができるか？
• RQ2 類似性正則化は、隣接する隠れ状態をより区別可能にすることで、繰り返し翻訳エラーを効果的に低減するか？
• RQ3 再構成正則化は、デコーダー状態が完全なソース側情報を持続することを保証することで、不完全な翻訳を低減するか？
• RQ4 2つの正則化戦略は、全体的な翻訳品質向上において相乗効果を発揮するか？
• RQ5 このアプローチは、高い推論速度を維持しながらSOTAのNAT性能を達成できるか？

主な発見

• 両正則化項を適用した提案モデルは、IWSLT14 De-En開発セットでBLEUスコア30.84を達成し、ベースNATモデル（28.73）およびSOTAベースラインを上回った。
• 類似性正則化のみを適用した場合、BLEUは30.02に向上し、1文あたりの重複削除処理回数が2.3回から0.9回に減少した。これは、繰り返し翻訳の効果的抑制を示している。
• 再構成正則化のみを適用した場合、BLEUは30.21に達し、ソース側情報保持を強制することで不完全翻訳の低減が有効であることが示された。
• 両正則化の組み合わせにより、ベースモデル比で2.11ポイントのBLEU向上が達成され、効果の相乗性が示されたが、増分的効果はやや劣加的であった。
• 9候補再スコアリングを伴う推論速度は自己回帰NMTの15.1倍に向上し、NAT-FTデコーディングと同等の高速性を維持した。これは推論効率が保持されていることを確認した。
• 除去実験では、汎用的な類似性ペナルティが性能を劣化させること（BLEUが28.32に低下）を示し、タスク固有の正則化設計の重要性を強調した。