[論文レビュー] Fast and Robust Early-Exiting Framework for Autoregressive Language Models with Synchronized Parallel Decoding

Sangmin Bae, Jongwoo Ko+2 more|arXiv (Cornell University)|Oct 9, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文は、自己回帰的言語モデルの推論を性能劣化を伴わずに高速化するための、高速かつ頑健な早期終了（FREE）フレームワークを提案する。浅い-深いモジュールと同期並列デコードを用いることで、状態のコピーを避けて性能劣化を抑える。状態のコピーを同期デコードに置き換え、適応的信頼度しきい値推定にベータ混合モデルを採用することで、完全モデル比で最大1.65倍の高速化を達成し、さまざまなタスクやモデルサイズにおいて生成品質を維持する。

ABSTRACT

To tackle the high inference latency exhibited by autoregressive language models, previous studies have proposed an early-exiting framework that allocates adaptive computation paths for each token based on the complexity of generating the subsequent token. However, we observed several shortcomings, including performance degradation caused by a state copying mechanism or numerous exit paths, and sensitivity to exit confidence thresholds. Consequently, we propose a Fast and Robust Early-Exiting (FREE) framework, which incorporates a shallow-deep module and a synchronized parallel decoding. Our framework enables faster inference by synchronizing the decoding process of the current token with previously stacked early-exited tokens. Furthermore, as parallel decoding allows us to observe predictions from both shallow and deep models, we present a novel adaptive threshold estimator that exploits a Beta mixture model to determine suitable confidence thresholds. We empirically demonstrated the superiority of our proposed framework on extensive generation tasks.

研究の動機と目的

• 自己回帰的デコードの逐次処理による高コストな推論遅延を解消すること。
• 従来の早期終了フレームワークで生じる状態のコピーと過剰な終了パスによる性能劣化を克服すること。
• 手動でのしきい値チューニングの必要性をなくすために、適応的しきい値推定器を導入すること。
• さまざまなモデルとシーケンス長にわたって、より高速で頑健かつスケーラブルな推論を可能にすること。
• 計算コストを大幅に削減しながらも、高い生成品質を維持すること。

提案手法

• 計算を浅いモデル（初期層）と深いモデル（全層）に分割する浅い-深いモジュールを導入し、2か所の指定されたポイントで早期終了を可能にする。
• 現在のトークンのデコードと以前に終了したトークンのデコードを同期化することで、近似されたキー/バリュー状態に依存しないようにする。
• 実際の注意計算をスタックされた早期終了トークンに対して行い、状態のコピーを置き換えることで、性能劣化を低減し、精度を向上させる。
• 浅いモデルと深いモデルの間の信頼度スコアと予測整合性を活用し、データドリブンな適応的しきい値推定器としてベータ混合モデル（BMM）を提案する。
• 並列デコードにより、浅いモデルと深いモデルからの予測を同時に生成し、追加の推論コストなしに信頼性の高いしきい値推定を可能にする。
• パラメータ効率の良い手法を用いて浅いモデルを微調整することで、トレーニングのオーバーヘッドを低減しながらも性能を維持する。

(a) Conventional Early-Exiting

実験結果

リサーチクエスチョン

• RQ1 同期並列デコードを備えた二パス早期終了フレームワークは、性能劣化を伴わず推論遅延を低減できるか？
• RQ2 長文シーケンスおよび大規模モデルにおいて、同期デコードは状態コピーと比較して、精度と速度の点で優れているか？
• RQ3 信頼度スコア分布に基づくデータドリブンな適応的しきい値推定器は、手動でのしきい値チューニングの必要性を排除できるか？
• RQ4 FREEフレームワークは、さまざまな自然言語処理タスクやモデルサイズにおいて、生成品質をどの程度維持できるか？
• RQ5 人間の評価基準と同等の指標で評価した場合、FREEフレームワークは完全モデルと比較してどの程度の性能を示すか？

主な発見

• FREEフレームワークは、CNN/DailyMail要約タスクにおいて完全モデル比で最大1.65倍の高速化を達成し、完全モデルのROUGE-Lスコア41.09と比較して40.99のスコアを維持した。
• GPT-3.5-turboを用いた人間の評価に準じた評価では、性能劣化は顕著ではなく、4次元のスコアがFREEで[4.68, 3.84, 3.84, 3.72]、完全モデルで[4.73, 3.83, 3.87, 3.77]であった。
• ペairワイズ比較での勝利数はほぼ同等（101 vs. 99）であり、FREEと完全モデルの間で人間の好みに差がないことが示された。
• ベータ混合モデルに基づく適応的しきい値推定器は、各データセットに最適なしきい値を効果的に特定し、手動チューニングの必要性を排除した。
• 同期並列デコードは、特に大規模モデルや長文シーケンスにおいて、状態コピーを上回る精度を示し、性能劣化を低減した。
• 深層モデルによる補正に依存するリファインメント手法は、遅延の増加を伴いながらも、性能向上が限定的であったため、早期終了フレームワークへの統合には不適切であると考えられた。

(b) Fast and Robust Early-Exiting (FREE)