[論文レビュー] EfficientDM: Efficient Quantization-Aware Fine-Tuning of Low-Bit Diffusion Models

Yefei He, Jing Liu+3 more|arXiv (Cornell University)|Oct 5, 2023

Advanced Data Compression Techniques被引用数 4

ひとこと要約

EfficientDMは、トレーニングデータを必要とせず、量子化に注意を払い、パラメータ効率的な微調整フレームワークを提供する。低ビット拡散モデル向けであり、PTQレベルの効率性でQATレベルの性能を達成する。QALoRA（量子化に注意を向けたLoRAの変種）、スケールに注意を向けた最適化、時間的学習ステップサイズ量子化を導入することで、アダプタとモデル重みの共同量子化を可能にし、ImageNet 256×256で4ビット精度の下でsFIDを1.56ポイント低減した。QATと比較して量子化時間を16.2倍短縮した。

ABSTRACT

Diffusion models have demonstrated remarkable capabilities in image synthesis and related generative tasks. Nevertheless, their practicality for real-world applications is constrained by substantial computational costs and latency issues. Quantization is a dominant way to compress and accelerate diffusion models, where post-training quantization (PTQ) and quantization-aware training (QAT) are two main approaches, each bearing its own properties. While PTQ exhibits efficiency in terms of both time and data usage, it may lead to diminished performance in low bit-width. On the other hand, QAT can alleviate performance degradation but comes with substantial demands on computational and data resources. In this paper, we introduce a data-free and parameter-efficient fine-tuning framework for low-bit diffusion models, dubbed EfficientDM, to achieve QAT-level performance with PTQ-like efficiency. Specifically, we propose a quantization-aware variant of the low-rank adapter (QALoRA) that can be merged with model weights and jointly quantized to low bit-width. The fine-tuning process distills the denoising capabilities of the full-precision model into its quantized counterpart, eliminating the requirement for training data. We also introduce scale-aware optimization and temporal learned step-size quantization to further enhance performance. Extensive experimental results demonstrate that our method significantly outperforms previous PTQ-based diffusion models while maintaining similar time and data efficiency. Specifically, there is only a 0.05 sFID increase when quantizing both weights and activations of LDM-4 to 4-bit on ImageNet 256x256. Compared to QAT-based methods, our EfficientDM also boasts a 16.2x faster quantization speed with comparable generation quality. Code is available at \href{https://github.com/ThisisBillhe/EfficientDM}{this hrl}.

研究の動機と目的

• 拡散モデルの低ビット量子化における効率性と品質のトレードオフを解消すること。PTQは性能に欠けるが、QATは膨大なデータと計算リソースを必要とする。
• 量子化中に元のトレーニングデータに依存しないようにし、リソース制限のあるデバイスへの実用的導入を可能にすること。
• 重みと活性化の両方を4ビット精度で高品質な生成を維持すること。従来のPTQ手法では、このビット幅でノイズ除去能力を保持できない。
• QATレベルの性能を、PTQの時間的・データ的効率性で達成し、実世界の応用に適した低ビット拡散モデルを実現すること。

提案手法

• QALoRA（低ランクアダプタの量子化に注意を向けた変種）を導入。モデル重みと共同で量子化可能であり、効率的かつ低ビット推論を可能にする。
• トレーニングデータを不要とするデータフリー蒸留フレームワークを採用。全精度モデルと量子化モデルのノイズ予測の平均二乗誤差を最小化することで、データ不要を実現。
• スケールに注意を向けた最適化を適用。層ごとの勾配スケールを動的に調整し、異なる量子化スケールを持つ低ビット設定における最適化効果を向上。
• 時間的学習ステップサイズ量子化（TLSQ）を導入。ノイズ除去ステップに伴う活性化の分布シフトに対処し、推論中のロバスト性を向上。
• QALoRA重みを量子化モデルに統合。追加のストレージや計算負荷なしに、パラメータ効率的な微調整を可能にする。
• 2段階の訓練プロセスを採用：まずQALoRAを用いて全精度モデルの知識を量子化モデルに蒸留し、次にTLSQとスケールに注意を向けた最適化で精練。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータへのアクセスが制限される状況下でも、データフリー微調整により、QATレベルの性能を達成できるか？
• RQ2 量子化に注意を向けた低ランクアダプタは、モデル重みと共同で量子化可能であり、4ビット精度でも性能を維持できるように設計できるか？
• RQ3 異なる量子化スケールを持つ層が混在する低ビット設定において、性能劣化を抑制するための有効な最適化戦略は何か？
• RQ4 ノイズ除去ステップに応じた量子化パラメータの時間的適応は、低ビット拡散モデルのロバスト性と生成品質を向上させられるか？
• RQ5 QATと比較して大幅に時間的・メモリ的コストを削減しつつ、4ビット精度でほぼ全精度レベルの生成品質を達成できるか？

主な発見

• ImageNet 256×256で4ビット精度（W/A）の下で、EfficientDMはsFID 7.75を達成。全精度ベースラインとの差はわずか0.05であり、4ビットでノイズ除去ができないとされる従来のPTQ手法を上回った。
• QATベースのアプローチと比較して、量子化時間を16.2倍短縮。ImageNet 256×256では、EfficientDMは3.05 GPU時間、QATは54.5 GPU時間であった。
• CIFAR-10では、FID 10.48を達成し、QATの性能（FID 7.30）と同等。QATより16.8倍速く、PTQより1.1倍速かった。
• スケールに注意を向けた最適化により、FIDはQALoRA単体の24.18から13.23に低下。異なる量子化スケールを持つ層間での最適化効果が向上したことを示した。
• TLSQを適用することで、FIDは13.23から7.75にさらに低下。ステップごとの量子化パラメータの適応により、活性化の分布シフトに柔軟に対応し、性能向上が達成された。
• ImageNet 256×256ではGPUメモリを19.8GBに抑え、RTX 3090でOOMを引き起こすQATよりも大幅に少ない。データ依存性も排除しており、実世界の展開に実用的である。