[論文レビュー] Lossless Acceleration for Seq2seq Generation with Aggressive Decoding

Tao Ge, Heming Xia+3 more|arXiv (Cornell University)|May 20, 2022

Algorithms and Data Compression被引用数 6

ひとこと要約

本稿では、逐次的自己回帰的デコードを、並列的で攻撃的なデコードに置き換え、その後に自己回帰的検証を実行する、新たな損失なし高速化手法「Aggressive Decoding」を提案する。機械翻訳、要約抽出、文法的誤り訂正などのタスクにおいて、生成品質に同程度またはそれ以上の水準を維持しながら、グリーディ自己回帰的デコードに比べて3倍～9倍の高速化を達成する。並列計算を活用することで効率性を向上させつつ、品質の妥協なしに実現される。

ABSTRACT

We study lossless acceleration for seq2seq generation with a novel decoding algorithm -- Aggressive Decoding. Unlike the previous efforts (e.g., non-autoregressive decoding) speeding up seq2seq generation at the cost of quality loss, our approach aims to yield the identical (or better) generation compared with autoregressive decoding but in a significant speedup, achieved by innovative cooperation of aggressive decoding and verification that are both efficient due to parallel computing. We propose two Aggressive Decoding paradigms for 2 kinds of seq2seq tasks: 1) For the seq2seq tasks whose inputs and outputs are highly similar (e.g., Grammatical Error Correction), we propose Input-guided Aggressive Decoding (IAD) that aggressively copies from the input sentence as drafted decoded tokens to verify in parallel; 2) For other general seq2seq tasks (e.g., Machine Translation), we propose Generalized Aggressive Decoding (GAD) that first employs an additional non-autoregressive decoding model for aggressive decoding and then verifies in parallel in the autoregressive manner. We test Aggressive Decoding on the most popular 6-layer Transformer model on GPU in multiple seq2seq tasks: 1) For IAD, we show that it can introduce a 7x-9x speedup for the Transformer in Grammatical Error Correction and Text Simplification tasks with the identical results as greedy decoding; 2) For GAD, we observe a 3x-5x speedup with the identical or even better quality in two important seq2seq tasks: Machine Translation and Abstractive Summarization. Moreover, Aggressive Decoding can benefit even more from stronger computing devices that are better at parallel computing. Given the lossless quality as well as significant and promising speedup, we believe Aggressive Decoding may potentially evolve into a de facto standard for efficient and lossless seq2seq generation in the near future.

研究の動機と目的

• 逐次的自己回帰的デコードによるseq2seqモデルの非効率性（1トークンずつ処理され、推論速度が制限される）を解消すること。
• 非自己回帰的デコードなどの先行高速化手法で一般的に見られる品質低下を克服すること（速度を犠牲にして出力品質を低下させる）。
• 自己回帰的生成品質を維持しつつ、並列化によって著しく推論速度を向上させるデコードフレームワークを開発すること。
• 入力に類似したタスク（例：GEC）と一般のseq2seqタスク（例：MT）の両方に適応可能な、タスク固有の変種のAggressive Decodingを設計すること。

提案手法

• Aggressive Decodingを2段階のプロセスとして提案：まず並列に多数のドラフトトークンを攻撃的に生成し、次に自己回帰的スコアリングによる検証で正しさを確認する。
• 入力に類似したタスク（例：GEC、テキスト簡略化）に適した「入力誘導型Aggressive Decoding（IAD）」を導入。入力文そのものをドラフトシーケンスとして使用する。
• 一般のseq2seqタスク（例：MT、要約）に適した「一般化Aggressive Decoding（GAD）」を導入。別個の非自己回帰的（NAR）モデルを用いてドラフトトークンを生成する。
• 並列検証を適用：自己回帰的検証に合格したトークンのみが受け入れられ、出力の正確性が標準的な自己回帰的デコードと同一になることを保証する。
• GPU上のハードウェア利用を最大化するため、ドラフト生成段階と検証段階の両方で並列計算を活用する。
• GADにおいて、NARおよびARコンponentの両方の入力エンコーディングを並列化することで、順次処理のボトルネックを低減する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的デコードを逐次処理から並列化可能な代替手段に置き換えることで、生成品質を損なわずにseq2seq生成を高速化できるか？
• RQ2 自己回帰的デコードと同等またはそれ以上の出力品質を保証しつつ、顕著な高速化を達成できるデコード戦略をどのように設計できるか？
• RQ3 入力と出力の類似度が高いタスク（特にGECなど）と一般の翻訳タスクの両方に適応可能な統合フレームワークを開発できるか。特に、タスク固有のドラフト生成戦略を用いることで？
• RQ4 より強力なハードウェア（並列計算能力に優れる）を用いることで、Aggressive Decodingはどの程度恩恵を受けるか？
• RQ5 非自己回帰的ドラフトモデルの性能向上に伴い、Aggressive Decodingの性能はどの程度向上するか。現在の実装における主なボトルネックは何か？

主な発見

• 入力誘導型Aggressive Decoding（IAD）は、文法的誤り訂正およびテキスト簡略化において、グリーディ自己回帰的デコードに比べて7倍～9倍の高速化を達成し、出力品質は同一である。
• 一般化Aggressive Decoding（GAD）は、機械翻訳および要約抽出において3倍～5倍の高速化を達成し、生成品質は自己回帰的デコードと同等またはそれを上回る。
• 高速化はハードウェアの並列処理能力に強く依存しており、より強力なGPUを用いることでさらなる性能向上が得られ、計算リソースのスケーラビリティが顕著に示されている。
• 検証ステップにより、すべての受け入れられた出力が自己回帰的デコードの結果と同一であることが保証され、本手法の損失なし性が裏付けられている。
• GADにおいて、NARドラフトモデルが主要なボトルネックとなっており、双方向アテンションと計算キャッシュの欠如により、AR検証よりも長時間かかっている。
• NARおよびARコンponentの両方の入力エンコーディング処理は、合計推論時間の約16％を占めており、並列エンコーディングによる最適化の余地があると考えられる。