[論文レビュー] Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation

Jungo Kasai, Nikolaos Pappas+3 more|arXiv (Cornell University)|Jun 18, 2020

Natural Language Processing Techniques参考文献 53被引用数 64

ひとこと要約

本論文は、深いエンコーダと浅いデコーダを備えた自己回帰モデルが、同等の速度で強力な非自己回帰モデルを上回ることができ、従来のNAR評価は層割り当て、速度測定、および蒸留手法の影響のためにARのスピードアップを過小評価していると主張する。

ABSTRACT

Much recent effort has been invested in non-autoregressive neural machine translation, which appears to be an efficient alternative to state-of-the-art autoregressive machine translation on modern GPUs. In contrast to the latter, where generation is sequential, the former allows generation to be parallelized across target token positions. Some of the latest non-autoregressive models have achieved impressive translation quality-speed tradeoffs compared to autoregressive baselines. In this work, we reexamine this tradeoff and argue that autoregressive baselines can be substantially sped up without loss in accuracy. Specifically, we study autoregressive models with encoders and decoders of varied depths. Our extensive experiments show that given a sufficiently deep encoder, a single-layer autoregressive decoder can substantially outperform strong non-autoregressive models with comparable inference speed. We show that the speed disadvantage for autoregressive baselines compared to non-autoregressive methods has been overestimated in three aspects: suboptimal layer allocation, insufficient speed measurement, and lack of knowledge distillation. Our results establish a new protocol for future research toward fast, accurate machine translation. Our code is available at https://github.com/jungokasai/deep-shallow.

研究の動機と目的

• 従来のNARのスピード-精度のトレードオフと評価手法に疑問を投げかける。
• エンコーダ／デコーダの深さの割り当てがARとNARの性能にどう影響するかを調査する。
• 公平な比較の下で、知識蒸留がARとNARのベースラインに及ぼす影響を評価する。
• 高速で正確な MTモデルを評価するための改訂プロトコルを提供する。

提案手法

• ARとNARモデルを、エンコーダとデコーダの深さを変えて系統的に比較する。
• ARとNARの両方に対して、深いエンコーダ・浅いデコーダの構成を導入・評価する。
• 推論速度を2つの指標で測定する：S1（1文ずつ）、Smax（ハードウェア上の最大バッチサイズ）。
• 公正な比較のため、両方のベースラインに対してシークエンスレベル知識蒸留を適用する。
• 複雑さを分析し、デコーダ反復回数（NARはT）が総計算量と速度に与える影響を議論する。
• 標準の前処理と評価（BLEU、SacreBLEU）を用いて、複数のWMT方向で大規模実験を行う。

実験結果

リサーチクエスチョン

• RQ1 深いエンコーダと浅いデコーダは、ARにとってNARよりも良い速度品質のトレードオフを提供するか？
• RQ2 速度測定（S1 vs Smax）は、ARとNARの見かけの利点にどう影響するか？
• RQ3 エンコーダ/デコーダの層割り当てが翻訳品質とデコード速度に与える影響は？
• RQ4 公平な比較を確保するために、知識蒸留の実践はARとNARの両方に同様に適用する必要があるか？
• RQ5 強力なNAR手法と比較して、ARモデルをどの程度正確さを犠牲にせず高速化できるか？

主な発見

• 深いエンコーダと浅いデコーダを持つARは、強力な6-6 ARベースラインと同等のBLEUを達成する一方で、S1デコードは大幅に高速化される。
• 深いエンコーダ・浅いデコーダ構成のNARモデルは、一般にARと比較してBLEUを失い、Smaxの性能もARベースラインより遅くなる。
• 大きなバッチデコードでは、ARのスピードアップは堅牢だが、NARのスピードアップはバッチサイズが大きくなると減少する。
• 知識蒸留はARとNARの双方に利益をもたらすが、ARとNARの精度差は依然として大きく、蒸留を両方に適用するとさらに広がる。
• 語順再配置とデコーダ層の数は、NARがうまく機能するためにより深いデコーダ深度を必要とする主要因である。