[論文レビュー] Efficient Speech Representation Learning with Low-Bit Quantization

Ching-Feng Yeh, Wei-Ning Hsu+2 more|arXiv (Cornell University)|Dec 14, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、低ビット量子化を用いた効率的な音声表現学習を提案し、Robustly Binarized Transformer (BiT) と圧縮重み量子化をHuBERTモデルに適用する。1ビット量子化により、184.42→25.23 MB（86.32%のストレージ削減）および1.00→0.12（88%のランタイム削減）を達成し、2ビット設定においてDistillHuBERTを効率性と精度の両面で上回った。

ABSTRACT

With the development of hardware for machine learning, newer models often come at the cost of both increased sizes and computational complexity. In effort to improve the efficiency for these models, we apply and investigate recent quantization techniques on speech representation learning models. The quantization techniques were evaluated on the SUPERB benchmark. On the ASR task, with aggressive quantization to 1 bit, we achieved 86.32% storage reduction (184.42 -> 25.23), 88% estimated runtime reduction (1.00 -> 0.12) with increased word error rate (7.06 -> 15.96). In comparison with DistillHuBERT which also aims for model compression, the 2-bit configuration yielded slightly smaller storage (35.84 vs. 46.98), better word error rate (12.68 vs. 13.37) and more efficient estimated runtime (0.15 vs. 0.73).

研究の動機と目的

• ストレージおよび計算コストを低減するため、低ビット量子化技術を適用することで音声表現学習におけるモデル効率を向上させること。
• エッジデプロイメントを想定した極端な量子化下におけるモデル効率と性能劣化のトレードオフを調査すること。
• 特にバイナリ化を含む量子化が、知識蒸留などの既存の圧縮手法よりも優れた効率性を達成できるかどうかを評価すること。
• 量子化に伴う性能損失を軽減するため、量子化感知学習（QAT）と知識蒸留の有効性を特定すること。
• 極端な低ビット圧縮における性能劣化を最小限に抑えるために、ワンステップ量子化とスケジュールド量子化の戦略を比較すること。

提案手法

• 勾配のバックプロパゲーションを離散的量子化演算に通すために、直線的推定（STE）を用いた量子化感知学習（QAT）を適用した。
• 重みと活性化を両方1ビットに量子化できるロバストなバイナリゼーションTransformer（BiT）を用い、整数のみのハードウェアで効率的な推論を実現した。
• 勾配の消失を軽減し、低精度環境における学習安定性を向上させるために、圧縮重み量子化を採用した。
• フル精度のHuBERTモデルから量子化モデルへの知識転送を実施し、中間層および出力の乖離を最小限に抑えた。
• 中間精度を経由する複数段階の減少（スケジュールド量子化）と、直接fp16からターゲットビットに変換するワンステップ量子化（直接fp16 → 目標ビット）を比較し、学習安定性を評価した。
• SUPERBベンチマーク上でモデルを評価し、ASRおよびその他の音声タスクにおいてストレージ、ランタイム、語誤り率（WER）を測定した。

実験結果

リサーチクエスチョン

• RQ1 極端な1ビット量子化は、性能劣化を著しく引き起こさずに、音声表現モデルのストレージおよびランタイムを顕著に削減できるか？
• RQ2 モデルサイズ、推論速度、ASR精度という観点から、低ビット量子化は、DistillHuBERTのような既存のモデル圧縮手法に比べて優れているか？
• RQ3 知識蒸留は、中間層の表現を一致させることで、量子化モデルの性能劣化を効果的に低減できるか？
• RQ4 スケジュールド量子化（複数段階の減少）は、ワンステップ量子化に比べて、極端な低ビット圧縮におけるモデル精度の保持に優れているか？
• RQ5 QATとSTE、および圧縮重み量子化の組み合わせが、バイナリ化音声モデルのロバスト性に与える影響は何か？

主な発見

• 1ビット量子化により、HuBERTモデルのストレージが184.42 MBから25.23 MBに削減され、86.32%のストレージ削減が達成された。
• 推定ランタイムは88%削減され、1.00から0.12に低下し、1ビット量子化による顕著な推論高速化が確認された。
• 2ビットのBiT-LA-w2a2モデルは、12.68%の語誤り率（WER）を達成し、同等のモデルサイズにおけるDistillHuBERT（13.37%）を上回った。
• 2ビットのBiT-LA-w2a2モデルは35.84 MBのストレージを要し、DistillHuBERTの46.98 MBよりも小さく、推論速度も速かった（0.15 vs. 0.73の推定ランタイム）。
• 知識蒸留により、量子化モデルの性能が顕著に向上し、1ビットでのWERは、HuBERT損失時（18.93）から知識蒸留時（15.96）に低下した。
• スケジュールド量子化はワンステップ量子化に比べて顕著な性能向上をもたらさなかったため、直接ターゲットビット幅に量子化する戦略が十分であると考えられた。