[論文レビュー] An EM Approach to Non-autoregressive Conditional Sequence Generation

Zhiqing Sun, Yiming Yang|arXiv (Cornell University)|Jun 29, 2020

Natural Language Processing Techniques被引用数 29

ひとこと要約

本論文は、非自己回帰（NAR）モデルの多様性問題に対処するため、自己回帰（AR）モデルと非自己回帰（NAR）モデルを同時に最適化する新規な期待値最大化（EM）フレームワークを提案する。反復的に、AR教師モデルからの事後分布の近似を用いてNARモデルを精緻化し、モデルの性能に基づいて訓練データを更新することで、推論遅延を著しく低減しながら、競争力ある翻訳精度を達成し、既存のNARモデルを速度面でも品質面でも上回る。

ABSTRACT

Autoregressive (AR) models have been the dominating approach to conditional sequence generation, but are suffering from the issue of high inference latency. Non-autoregressive (NAR) models have been recently proposed to reduce the latency by generating all output tokens in parallel but could only achieve inferior accuracy compared to their autoregressive counterparts, primarily due to a difficulty in dealing with the multi-modality in sequence generation. This paper proposes a new approach that jointly optimizes both AR and NAR models in a unified Expectation-Maximization (EM) framework. In the E-step, an AR model learns to approximate the regularized posterior of the NAR model. In the M-step, the NAR model is updated on the new posterior and selects the training examples for the next AR model. This iterative process can effectively guide the system to remove the multi-modality in the output sequences. To our knowledge, this is the first EM approach to NAR sequence generation. We evaluate our method on the task of machine translation. Experimental results on benchmark data sets show that the proposed approach achieves competitive, if not better, performance with existing NAR models and significantly reduces the inference latency.

研究の動機と目的

• 出力分布における多様性の影響により生じる自己回帰（AR）モデルと非自己回帰（NAR）モデルの性能格差を是正すること。
• 事前学習済みのARモデルが固定された訓練ターゲットを生成する単一パスの知識蒸留の限界を克服し、多様性のある出力を最適に表現できない問題に対処すること。
• ARおよびNARモデルの反復的改善を可能にする閉ループでの共同最適化フレームワークを構築し、一般化性能を向上させるとともに、推論遅延を低減すること。
• NARモデル出力における語の重複を効果的に除去する、原理的かつ即座に適用可能なデコード手法を設計すること。

提案手法

• 本手法はEMスタイルの反復的フレームワークを採用する：Eステップでは、現在のパラメータを用いてARモデルがNARモデルの正則化事後分布を近似する。
• Mステップでは、ARモデルの予測に基づいて動的に更新された訓練データセット上でNARモデルを再訓練し、モデルの品質と多様性の低減に基づいて例を選択する。
• 事後分布の近似はパrametricなARモデルを用いてアモルタイズされ、Eステップにおける効率的かつスケーラブルな推論を可能にする。
• NAR出力における語の重複を体系的かつ効果的に除去する、新規な最適重複除去デコード（ODD）手法を導入し、ヒューリスティックな後処理を上回る性能を発揮する。
• EステップとMステップの更新を交互に繰り返し、弱い仮定のもとで収束が保証され、検証性能に基づく早期停止を含む。
• 本手法は機械翻訳に適用され、BLEUと正規化されたコーパスレベルの多様性（NCM）を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 反復的EMフレームワークにより、シーケンス生成における多様な出力分布をより効果的に扱えるように、ARおよびNARモデルを共同最適化できるか？
• RQ2 固定された知識蒸留から、フィードバック駆動の反復的トレーニングループに置き換えることで、単一パス蒸留と比較してNARモデルの性能が向上するか？
• RQ3 教師ARモデルを用いたアモルタイズ推論は、NARモデルのトレーニング品質と安定性を向上させることができるか？
• RQ4 提案された最適重複除去デコード（ODD）手法は、ヒューリスティックな後処理と比較して、語の重複低減にどの程度効果的か？
• RQ5 EMベースの手法は、最先端のNARモデルと比較して、競争力あるまたは優れた翻訳精度を維持しつつ、より高速な推論を達成できるか？

主な発見

• 提案されたEMベースの手法は、WMT14 En-De翻訳でテストBLEUスコア25.75を達成し、既存のNARモデルを上回り、ARモデルの性能に近づく一方で、推論遅延を低減した。
• 正規化されたコーパスレベルの多様性（NCM）指標はトレーニング中に単調に減少し、出力分布における多様性の有効な低減が示された。
• ODDデコード手法は、WMT14 En-Deで後処理による重複除去と比較して0.89 BLEUポイントのスコア向上を達成し、語の重複処理において優れた性能を示した。
• 本手法は10回未満の反復で収束し、検証性能に基づく早期停止を用いた効率的な最適化が可能であった。
• EステップでARモデルを用いたアモルタイズ推論は、非アモルタイズトレーニングと比較して平均0.49 BLEUポイントの性能向上をもたらし、その有効性を裏付けた。
• フレームワークは推論速度に顕著な高速化を達成し、NARモデルは自己回帰モデルとは異なり、並列にシーケンスを生成した。