[論文レビュー] Improving Non-autoregressive Neural Machine Translation with Monolingual Data

Jiawei Zhou, Phillip Keung|arXiv (Cornell University)|May 2, 2020

Natural Language Processing Techniques参考文献 19被引用数 4

ひとこと要約

本稿では、事前学習済みの自己回帰的（AR）教師モデルを用いて、モノリンガルな文を合成翻訳として生成することで、非自己回帰的神経機械翻訳（NAR-NMT）の性能を向上させる手法を提案する。モノリンガル文をNARの学習データに追加することにより、過学習が軽減され、特に長い文において一般化性能が向上し、WMT14 En-DeおよびWMT16 En-Roで最先端の性能を達成。AR教師モデルとのBLEU差はわずか0.11ポイントにまで縮小された。

ABSTRACT

Non-autoregressive (NAR) neural machine translation is usually done via knowledge distillation from an autoregressive (AR) model. Under this framework, we leverage large monolingual corpora to improve the NAR model's performance, with the goal of transferring the AR model's generalization ability while preventing overfitting. On top of a strong NAR baseline, our experimental results on the WMT14 En-De and WMT16 En-Ro news translation tasks confirm that monolingual data augmentation consistently improves the performance of the NAR model to approach the teacher AR model's performance, yields comparable or better results than the best non-iterative NAR methods in the literature and helps reduce overfitting in the training process.

研究の動機と目的

• 大規模なモノリンガルコーパスを活用することで、NAR-NMTのモデル一般化性能を向上させること。
• 特に長い文において過学習を軽減するため、学習データの多様性を高めることで、NARモデルの学習段階での過学習を低減すること。
• モノリンガルデータを用いて知識蒸留を拡張することで、NARモデルと自己回帰的（AR）モデルの性能差を縮小すること。
• 標準的なWMT翻訳ベンチマークにおいて、反復的でないNAR手法として最先端の結果を達成すること。

提案手法

• 事前学習済みの自己回帰的（AR）モデルを用いて、モノリンガルなソース文から合成された翻訳文を生成し、NARの学習データを拡張する。
• Gaussianカーネルに基づくソフトコピー機構を用いて、ソース文の文脈をデコーダー入力に組み込み、従来のハードコピーの代わりに使用する。
• 将来のトークンをマスクしないことで、デコーダーが過去および未来のトークンに同時に注目できるように変更し、完全な文脈を用いた非自己回帰的生成を可能にする。
• 位置エンコーディングをベースとなるTransformerと整合性を保つために、各デコーダー層に追加する形で導入し、追加の位置注意力モジュールを導入しない。
• 長さ予測は、複数のターゲット長を生成し、AR教師モデルがそれらをランク付けする、候補ベースのアプローチを採用する。
• モノリンガルデータを用いて追加の学習例を生成し、NARモデルは並列データと合成されたモノリンガル翻訳データの両方を学習する。

実験結果

リサーチクエスチョン

• RQ1 モノリンガルデータの拡張は、非自己回帰的NMTモデルの性能向上に寄与するか？
• RQ2 モノリンガルデータを用いることで、過学習が軽減され、特に長い文において一般化性能が向上するか？
• RQ3 モノリンガルデータは、NARモデルとARモデルの性能差にどのように影響を与えるか？
• RQ4 モノリンガルデータの利点は、長さに合わせたデコード（length-parallel decoding）などの他のNAR技術と直交的か？
• RQ5 モノリンガルデータの利点は、異なる言語対や文の長さにわたり一貫して得られるか？

主な発見

• WMT16 Ro→En翻訳タスクにおいて、NARモデルは33.57 BLEUを達成し、反復的でないNAR手法として新たな最先端性能を記録した。
• WMT14 En→Deタスクにおいて、モデルは25.73 BLEUに達し、反復的でないNARアプローチの中で最も高い性能を記録した。
• Ro→En方向において、NARモデルとAR教師モデルとの間のBLEU差はわずか0.11ポイントにまで縮小された。
• モノリンガルデータを追加することで、すべての設定でBLEUスコアが向上し、モノリンガルデータを100%使用した場合、最大+1.40 BLEUポイントの向上が得られた。
• モノリンガルデータを用いて学習したモデルは、学習損失と評価損失の差が縮小するなど、著しく過学習が軽減された。
• 長文における一般化性能が向上：80語を超える文において、モノリンガルデータで学習したNARモデルは、ベースラインよりも劣化が少なかった。