[論文レビュー] An Efficient Transformer Decoder with Compressed Sub-layers

Yanyang Li, Ye Lin+2 more|arXiv (Cornell University)|Jan 3, 2021

Network Packet Processing and Optimization参考文献 23被引用数 10

ひとこと要約

本稿では、Compressed Attention Network (CAN) を提案する。CAN は、軽微な条件下での数学的同等性に基づき、標準的な三つのサブレイヤー（自己注意、クロス注意、フィードフォワードネットワーク）を、1つの統合された注意メカニズムに圧縮する、新しいトランスフォーマー・デコーダー・アーキテクチャである。この手法は、標準的なトランスフォーマー・ベースラインと比較して、顕著な性能低下なしに最大2.82倍の高速化を達成する。同時に高い並列性と実装の容易さを維持している。

ABSTRACT

The large attention-based encoder-decoder network (Transformer) has become prevailing recently due to its effectiveness. But the high computation complexity of its decoder raises the inefficiency issue. By examining the mathematic formulation of the decoder, we show that under some mild conditions, the architecture could be simplified by compressing its sub-layers, the basic building block of Transformer, and achieves a higher parallelism. We thereby propose Compressed Attention Network, whose decoder layer consists of only one sub-layer instead of three. Extensive experiments on 14 WMT machine translation tasks show that our model is 1.42x faster with performance on par with a strong baseline. This strong baseline is already 2x faster than the widely used standard baseline without loss in performance.

研究の動機と目的

• トランスフォーマー・デコーダーの推論遅延が、その深く逐次的なサブレイヤー構造に起因するという問題に取り組む。
• デコーダー内の並列性を高めることで、翻訳品質を損なわずに推論効率を向上させる。
• 性能を維持しながら計算オーバーヘッドを低減する、簡素化された単一サブレイヤー構造のデコーダーを提案する。
• 先行の高速化手法と公平に比較できるように、深いエンコーダーと浅いデコーダーを用いたより強いベースラインを確立する。

提案手法

• 著者らは、入力が十分に類似している場合に、自己注意とクロス注意が数学的に1つの注意メカニズムに統合可能であることを証明した。この条件は、WMTデータ上で経験的に検証された。
• さらに、操作の線形性のおかげで、フィードフォワードネットワークを注意サブレイヤーと統合できることを示し、三つのサブレイヤーを完全に1つに圧縮することを可能にした。
• その結果得られたCompressed Attention Network (CAN) は、1つの注意レイヤーを用いて、自己注意、クロス注意、フィードフォワード変換を並列に実行する。
• この手法は、注意ヘッド間でのパラメータ共有に依存しており、勾配の流れとモデルの安定性を保つために残差接続を維持している。
• 深いエンコーダーと浅いデコーダーを組み合わせた強いベースラインを構築した。これは標準的なトランスフォーマーと比較して2倍の高速化を達成しており、性能の損失なしに実現された。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー・デコーダーの三つのサブレイヤーを、性能の低下なしに数学的に1つの注意メカニズムに圧縮できるか？
• RQ2 自己注意とクロス注意を1つのレイヤーに統合する条件として、どのような状況で有効かつ妥当とされるか？
• RQ3 フィードフォワードネットワークを注意レイヤーと統合することで、モデルの性能が維持されると同時に推論速度が向上するか？
• RQ4 浅い、単一サブレイヤー構造のデコーダーは、標準的および先行の高速化手法と比較して、競争力ある高速化を達成できるか？

主な発見

• CAN は、14のWMT機械翻訳タスクにおいて、標準的なトランスフォーマー・ベースラインと比較して最大2.82倍の高速化を達成したが、性能の低下はほとんどなかった。
• より強いベースライン（深いエンコーダーと浅いデコーダー）と比較しても、CAN は依然として1.42倍の高速化を達成し、SAN や AAN といった他の手法（1.12–1.16倍の高速化）を上回った。
• 隣接するサブレイヤーの入力間のコサイン類似度は非常に高い（例：WMT14 En-De では >0.9）。これは、圧縮に適した入力が十分に類似しているという仮定が妥当であることを裏付けている。
• 圧縮にもかかわらず、訓練中に安定した収束を示し、顕著な性能低下が生じなかった。これは、アーキテクチャの簡素化が堅牢であることを示している。
• 提案手法は実装が簡単であり、標準的な学習に追加のパラメータやアーキテクチャの変更を必要としない。