[論文レビュー] ENGINE: Energy-Based Inference Networks for Non-Autoregressive Machine Translation

Lifu Tu, Richard Yuanzhe Pang+2 more|arXiv (Cornell University)|May 2, 2020

Natural Language Processing Techniques参考文献 28被引用数 8

ひとこと要約

この論文は、推論ネットワークを用いて事前学習済みの自己回帰的教師モデルのエネルギー関数を最小化するように訓練する非自己回帰的ニューラル機械翻訳モデルであるENGINEを提案する。ビームサーチ出力を蒸留するのではなく、教師モデルのエネルギーを直接最適化することで、IWSLT14 DE-EN（31.99 BLEU）およびWMT16 RO-EN（33.16 BLEU）で最先端の結果を達成し、自己回帰的モデルの性能に近づいた。

ABSTRACT

We propose to train a non-autoregressive machine translation model to minimize the energy defined by a pretrained autoregressive model. In particular, we view our non-autoregressive translation system as an inference network (Tu and Gimpel, 2018) trained to minimize the autoregressive teacher energy. This contrasts with the popular approach of training a non-autoregressive model on a distilled corpus consisting of the beam-searched outputs of such a teacher model. Our approach, which we call ENGINE (ENerGy-based Inference NEtworks), achieves state-of-the-art non-autoregressive results on the IWSLT 2014 DE-EN and WMT 2016 RO-EN datasets, approaching the performance of autoregressive models.

研究の動機と目的

• ビームサーチ出力の知識蒸留を超える非自己回帰的機械翻訳（NAT）の性能向上を図ること。
• 事前学習済みの自己回帰的教師モデルをエネルギー源として用い、エネルギー最小化によりNATモデルを訓練することの検討。
• 教師モデルのエネルギー関数のargminを近似する推論ネットワークを設計し、エンドツーエンドの訓練を可能にすること。
• エネルギーに基づく訓練が、ゼロイテレーションおよび反復的精錬設定の両方で標準的な蒸留法を上回ることを示すこと。
• エネルギーに基づくモデルの非自己回帰的テキスト生成への応用を広く可能にすること。

提案手法

• 自己回帰的モデルをエネルギーに基づくモデルとして扱い、エネルギーを入力されたソースに対してターゲット系列の負の対数尤度として定義する。
• 推論ネットワーク（例：CMLMまたはTransformerベース）を、教師モデルのエネルギーを最小化するターゲット系列をソース入力から出力するように訓練する。
• 微分可能な操作を用いてエネルギー関数を緩和する：1つは温度付きソフトマックス（SX）、もう1つは離散トークンサンプリングのためのストレートスラッシュ勾配推定（ST）の使用。
• 推論ネットワークは、バリデーションセット上のエネルギー損失を用いて訓練され、エネルギー最小化に基づく早期停止が適用される。
• 長さ予測は別途用意されたヘッドがターゲット系列長を予測し、長さビーム（上位k個の候補）を用いてデコードする。
• 蒸留コーパスに依存しないようにすることで、ビームサーチ出力のみに依存する場合よりも豊富な監督を得られる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの自己回帰的モデルのエネルギーを最小化するように非自己回帰的モデルを訓練することは、ビームサーチ出力の知識蒸留を上回る性能を発揮できるか？
• RQ2 離散的サンプリングのための異なる緩和戦略（例：SX対ST）は、NATにおけるエネルギーに基づく推論ネットワークの性能にどのように影響するか？
• RQ3 推論ネットワークを用いたエネルギーに基づく訓練は、精錬なしの最先端の非自己回帰的モデルを上回る性能を発揮するか？
• RQ4 反復的精錬は、標準的な蒸留法と比較して、エネルギーに基づくNATモデルの性能をどの程度向上させるか？
• RQ5 エネルギーに基づく推論ネットワークは、非自己回帰的翻訳において自己回帰的モデルの性能に近づけるか？

主な発見

• ENGINEは非自己回帰的設定（1イテレーション）でIWSLT14 DE-ENで31.99 BLEU、WMT16 RO-ENで33.16 BLEUを達成し、NATモデルの新たな最先端性能を樹立した。
• 精錬なしでも、両データセットにおいて、反復的精錬を用いたモデルを含む、過去のすべての非自己回帰的モデルを上回った。
• 教師モデルのエネルギーを最小化するように訓練したモデルは、ビームサーチ出力の蒸留で訓練したモデルよりもDE-ENで11.27 BLEU、RO-ENで12.22 BLEU高い性能を示した。
• 10イテレーションの精錬を経て、ENGINEはWMT16 RO-ENで34.04 BLEUを達成し、CMLMを上回り、自己回帰的教師モデルの性能に近づいた。
• SX + STの緩和操作の組み合わせが最も優れた性能を発揮したが、Gumbelノイズはわずかな改善しかもたらさず、学習を遅くした。
• エネルギー最小化は、蒸留出力に比べて豊富な監督を提供することを示し、非自己回帰的翻訳におけるより良い一般化を可能にした。