[論文レビュー] Delta Keyword Transformer: Bringing Transformers to the Edge through Dynamically Pruned Multi-Head Self-Attention

Zuzana Jelčicová, Marian Verhelst|arXiv (Cornell University)|Mar 20, 2022

Topic Modeling参考文献 35被引用数 4

ひとこと要約

本稿では、時系列データにおける時間的安定性を活用することで、マルチヘッド自己注意（MHSA）の計算を動的にしきい値ベースで削減する、Deltaキーワードトランスフォーマーを提案する。連続するトークン間の顕著な特徴差分（デルタ値）のみを保持することで、乗算累積演算（MACs）を最大80％削減しつつ精度に影響なし、最大94％の削減で1〜4％の精度低下にとどめ、エッジデバイスへの効率的なトランスフォーマーのデプロイを可能にする。

ABSTRACT

Multi-head self-attention forms the core of Transformer networks. However, their quadratically growing complexity with respect to the input sequence length impedes their deployment on resource-constrained edge devices. We address this challenge by proposing a dynamic pruning method, which exploits the temporal stability of data across tokens to reduce inference cost. The threshold-based method only retains significant differences between the subsequent tokens, effectively reducing the number of multiply-accumulates, as well as the internal tensor data sizes. The approach is evaluated on the Google Speech Commands Dataset for keyword spotting, and the performance is compared against the baseline Keyword Transformer. Our experiments show that we can reduce ~80% of operations while maintaining the original 98.4% accuracy. Moreover, a reduction of ~87-94% operations can be achieved when only degrading the accuracy by 1-4%, speeding up the multi-head self-attention inference by a factor of ~7.5-16.

研究の動機と目的

• リソース制限のあるエッジデバイスへのデプロイを制限する、トランスフォーマーにおけるマルチヘッド自己注意（MHSA）の高い計算コストに対処すること。
• 再訓練や専用ハードウェアを必要とする従来のプルーニング手法の限界を克服すること。
• 微調整なしに推論時のMAC演算を削減することで、小型MLデバイスにおけるリアルタイムで低消費電力の推論を可能にすること。
• 連続するトークン間のデルタ計算を用いて、推論時に細かく動的にプルーニングすること。
• キーワード検出タスクにおけるエッジデバイスで、計算複雑性を著しく低減しながら高い精度を維持すること。

提案手法

• 入力シーケンス内の連続するトークンの対応する特徴間のデルタ差分を計算することで、MHSA部にしきい値ベースのプルーニングを適用する。
• 事前に定義されたしきい値を超える非ゼロのデルタ値のみを保持・処理し、意味のない変化を破棄することでMAC演算を削減する。
• 各MHSA部に別個のしきい値を導入：入力投影（XW）、クエリ-キー内積（QK^T）、ソフトマックス出力、最終ヘッド投影（W_P）。
• 再訓練なしに推論時に動的プルーニングを実行することで、事前学習済みモデルへの即時デプロイが可能になる。
• 特に静音または安定した音声セグメントでは大部分のデルタがゼロとなる時間的冗長性を活用し、高い圧縮を実現する。
• 追加のハードウェアや複雑なトレーニングを必要としない軽量な比較ベースのメカニズムを採用し、エッジデプロイに適している。

実験結果

リサーチクエスチョン

• RQ1 動的でしきい値ベースのMHSAプルーニングは、再訓練や精度低下なしに計算コストを削減できるか？
• RQ2 デルタベースのプルーニングは、時系列データにおける時間的安定性を効果的に活用できるか？
• RQ3 プルーニングしきい値を変化させた場合、計算の節約と精度低下のトレードオフはどの程度か？
• RQ4 この手法は、事前学習済みトランスフォーマーの異なるレイヤーや入力タイプに普遍的に適用可能か？
• RQ5 キーワード検出タスクにおいて、MAC演算をどの程度削減しつつ高い精度を維持できるか？

主な発見

• 本手法により、マルチヘッド自己注意部で最大80％のMAC演算を削減しつつ、Google Speech Commands Datasetで98.4％の精度を維持した。
• 1％の精度低下で7.5倍の高速化が達成され、MACの86.73～93.65％の削減が見られた。
• 精度が1～4％低下する範囲で、推論の高速化が最大16倍に達し、強力なパフォーマンス-計算量トレードオフを示した。
• 静音（"_silence_"）キーワードのインスタンスでは、入力特徴がほぼ一定であるため、97～99.9％の演算削減が達成された。
• 一部の設定では、元のKWT-3モデル（98.46％、98.48％、98.42％の精度）をわずかに上回る精度を達成しながら計算量を削減した。
• 平均して、レイヤー全体で合計のMHSA演算の70～77％がスキップされ、ヘッド投影部では最大87％、QK^T演算では最大95％が破棄された。