[論文レビュー] Deep Encoder, Shallow Decoder: Reevaluating the Speed-Quality Tradeoff in Machine Translation

Jungo Kasai, Nikolaos Pappas+3 more|arXiv (Cornell University)|Jun 18, 2020

Natural Language Processing Techniques参考文献 44被引用数 53

ひとこと要約

この論文は、ニューラル機械翻訳のためのディープエンコーダ、シャロウデコーダアーキテクチャを提案し、1層の自己回帰的デコーダとディープエンコーダを組み合わせることで、非自己回帰モデルと同等の推論速度を維持しながら最先端の翻訳品質を達成することを示している。主な洞察は、エンコーダに深さを優先する最適なレイヤー割り当てが、自己回帰的デコーディングの想定される遅延ペナルティを克服できることにある。

ABSTRACT

State-of-the-art neural machine translation models generate outputs autoregressively, where every step conditions on the previously generated tokens. This sequential nature causes inherent decoding latency. Non-autoregressive translation techniques, on the other hand, parallelize generation across positions and speed up inference at the expense of translation quality. Much recent effort has been devoted to non-autoregressive methods, aiming for a better balance between speed and quality. In this work, we re-examine the trade-off and argue that transformer-based autoregressive models can be substantially sped up without loss in accuracy. Specifically, we study autoregressive models with encoders and decoders of varied depths. Our extensive experiments show that given a sufficiently deep encoder, a one-layer autoregressive decoder yields state-of-the-art accuracy with comparable latency to strong non-autoregressive models. Our findings suggest that the latency disadvantage for autoregressive translation has been overestimated due to a suboptimal choice of layer allocation, and we provide a new speed-quality baseline for future research toward fast, accurate translation.

研究の動機と目的

• 自己回帰的ニューラル機械翻訳における広く認識されている遅延の欠点を再評価すること。
• エンコーダとデコーダの深さを再バランスすることで、速度と品質のトレードオフを改善できるかを調査すること。
• Transformerベースのモデルにおけるレイヤー割り当ての最適化を通じて、高速かつ高精度な翻訳の新しいベースラインを確立すること。
• 速度を優先するために非自己回帰的手法が好まれる傾向にあるが、その代償として品質が低下するという現状のトレンドに挑戦すること。

提案手法

• 著者たちは、エンコーダとデコーダの深さを変化させたTransformerベースのモデルを訓練し、深さの異なる構成を体系的に評価した。
• 豊かな文脈的表現を捉えるために、例えば6〜12層のディープエンコーダを使用し、高速な自己回帰的生成のために1層のデコーダを採用した。
• モデルは標準的な目的関数に従ってエンドツーエンドで訓練され、標準的な自己回帰的デコーディングにおける推論遅延が測定された。
• このアプローチは、デコーダの複雑さを最小限に抑えながら、ディープエンコーダの表現力によって補償し、精度を損なわず並列化の利点を活かすことを可能にした。
• 実験では、提案されたアーキテクチャを強力な非自己回帰的ベースラインおよび標準的な深層自己回帰的モデルと比較した。
• この手法は、エンコーダの深さとデコーダの深さが速度と品質の指標に与える影響を分離するために、アーキテクチャのアブレーションに依存している。

実験結果

リサーチクエスチョン

• RQ1 ディープエンコーダとシャロウデコーダを組み合わせたモデルが、低遅延を維持しながら最先端の翻訳品質を達成できるか？
• RQ2 自己回帰的モデルの遅延の欠点が、最適でないレイヤー割り当てによって誇張されているのではないか？
• RQ3 エンコーダの深さを増すことで、最小限（1層）のデコーダが自己回帰的翻訳においてどのように影響を受けるか？
• RQ4 ディープエンコーダが1層デコーダを可能にし、同等の速度でより深い自己回帰的モデルを上回る品質を達成できるか？
• RQ5 このアーキテクチャは、将来のNMT研究における新しい速度・品質のベースラインとして機能できるか？

主な発見

• 1層のデコーダとディープエンコーダを組み合わせたモデルは、標準的なベンチマークで最先端の翻訳品質を達成し、より深い自己回帰的モデルを上回った。
• 提案されたモデルは、自己回帰的であるにもかかわらず、強力な非自己回帰的モデルと同等の推論速度を達成した。
• ディープエンコーダ、シャロウデコーダモデルの遅延は、非自己回帰的ベースラインと同等であり、自己回帰的モデルが本質的に遅いという仮定に反する。
• ディープエンコーディングによる性能向上は、最小限のデコーディングの制限を上回る。これは、品質にとってエンコーダの深さがデコーダの深さよりも重要であることを示している。
• このアーキテクチャは、高速かつ高精度な翻訳の新しいベースラインを設定し、レイヤー割り当てが長らく過小評価されてきた重要な設計選択であることが示唆された。
• 結果から、NMTにおける速度と品質のトレードオフは本質的ではなく、アーキテクチャ設計によって再バランス可能であることが示された。