[論文レビュー] Accelerating Transformer Decoding via a Hybrid of Self-attention and Recurrent Neural Network

Chengyi Wang, Shuangzhi Wu+1 more|arXiv (Cornell University)|Sep 5, 2019

Natural Language Processing Techniques参考文献 13被引用数 5

ひとこと要約

この論文では、自己回帰的デコーダを1層のRNNに置き換えることで、元のTransformerと比較して最大4.1倍の高速化を達成するハイブリッドTransformerアーキテクチャを提案している。知識蒸留を用いて完全なTransformerの教師モデルから学習することで、NISTおよびWMT2017ベンチマークでベースラインと同等またはそれを上回る翻訳品質を維持している。

ABSTRACT

Due to the highly parallelizable architecture, Transformer is faster to train than RNN-based models and popularly used in machine translation tasks. However, at inference time, each output word requires all the hidden states of the previously generated words, which limits the parallelization capability, and makes it much slower than RNN-based ones. In this paper, we systematically analyze the time cost of different components of both the Transformer and RNN-based model. Based on it, we propose a hybrid network of self-attention and RNN structures, in which, the highly parallelizable self-attention is utilized as the encoder, and the simpler RNN structure is used as the decoder. Our hybrid network can decode 4-times faster than the Transformer. In addition, with the help of knowledge distillation, our hybrid network achieves comparable translation quality to the original Transformer.

研究の動機と目的

• 自己回帰的デコーディングと多頭注意の高い計算コストが原因で、Transformerモデルの推論速度が遅いため、その問題を解決すること。
• 自己注意の並列処理の利点とRNNの高速推論を組み合わせることで、より効率的なデコーディングシステムが得られるかどうかを検討すること。
• 完全なTransformerデコーダを単純なRNN構造に置き換えても、高い翻訳品質を維持できるかどうかを確保すること。
• 知識蒸留が、軽量なハイブリッドモデルの性能向上にどの程度寄与するかを評価すること。
• 標準ベンチマーク上で、翻訳品質を損なわずに顕著な高速化を達成できるかどうかを実証すること。

提案手法

• 元のTransformerから標準的な自己注意ベースのエンコーダを採用し、マルチヘッド注意と残差接続により長距離依存関係を効果的に捉える能力を維持している。
• デコーダを1層のGRUベースのRNNに置き換え、各ステップで全系列の注意計算を必要としないため、自己回帰的生成が高速化されている。
• ハイブリッドモデルはまず、ターゲット系列に対する最大尤度推定（MLE）を用いて事前学習される。
• 系列レベルの知識蒸留が適用され、完全なTransformerが教師として、ファインチューニング段階で学生のハイブリッドモデルをガイドすることで、翻訳品質が向上している。
• ベースラインモデルとハイブリッドラモデルの両方で、キー・バリューの事前計算と重みの統合が行われ、公平な速度比較が保証されている。
• NISTおよびWMT2017の中国語-英語翻訳タスクで実験が実施され、ビームサーチ（ビームサイズ12、長さペナルティ1.0）が用いられている。

実験結果

リサーチクエスチョン

• RQ1 完全なTransformerデコーダを軽量なRNNに置き換えることで、翻訳品質を損なわず、推論速度を顕著に向上させることができるか？
• RQ2 同一条件下で、ハイブリッドモデルのデコーディング速度は、標準的なRNNベースのモデルおよび完全なTransformerモデルと比べてどの程度か？
• RQ3 知識蒸留が、軽量なハイブリッドモデルの性能を、完全なTransformerにまで高めるのにどの程度寄与するか？
• RQ4 自己注意、RNN、知識蒸留の各コンponentが、全体の速度と精度のトレードオフに果たす寄与度はどの程度か？
• RQ5 ハイブリッドアーキテクチャは、異なるモデルの深さやデータセットの種別に関係なく、強力な性能を維持できるか？

主な発見

• NISTデータセットでは、6層のハイブリッドモデルが6層のTransformerベースラインと比較して4.1倍の高速化を達成し、デコーディング時間を420秒から107秒に短縮した。
• WMT2017中国語-英語タスクでは、ハイブリッドモデルが6層のTransformerと比較して3.9倍の高速化を達成し、デコーディング時間を420秒から114秒に短縮した。
• 知識蒸留を適用した場合、ハイブリッドモデルはWMT2017でBLEUスコア22.50を達成し、完全なTransformer教師モデルの23.08に非常に近い性能を示した。
• 知識蒸留なしでも、ハイブリッドモデルは標準的なRNMTベースラインを上回り、KDを適用した場合、RNMTを1.0以上のBLEUポイント以上上回った。
• 1層のRNNデコーダを搭載したハイブリッドモデルは、知識蒸留を適用した後、2層、4層、6層の深さを持つRNNの変種と同等のBLEUスコアを達成した。これは、知識蒸留が適用されている場合、モデルの深さが重要でないことを示している。
• NISTデータセットにおけるRNNデコーダの時間コストは138.0秒であり、Transformerデコーダの434.1秒と比べて顕著に低い。これは、注意重視のデコーディングをRNNに置き換えることで、効率性が著しく向上していることを確認している。