[논문 리뷰] DiffFit: Unlocking Transferability of Large Diffusion Models via Simple Parameter-Efficient Fine-Tuning

Enze Xie, Lewei Yao외 6명|arXiv (Cornell University)|2023. 04. 13.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

DiffFit는 대규모 확산 모델을 위한 파rameter 효율적인 미세조정 방법을 제안하며, 특정 레이어의 편향 항과 스케일링 인자만 업데이트함으로써 전체 미세조정 대비 2배 빠른 훈련 속도와 0.12%의 파라미터 저장 비용을 달성한다. 256×256 체크포인트에서 25_epochs만 미세조정하여 ImageNet 512×512에서 FID 3.02의 새로운 SOTA 성능을 달성하였으며, 가장 가까운 경쟁자 대비 훈련 효율성이 30배 높다.

ABSTRACT

Diffusion models have proven to be highly effective in generating high-quality images. However, adapting large pre-trained diffusion models to new domains remains an open challenge, which is critical for real-world applications. This paper proposes DiffFit, a parameter-efficient strategy to fine-tune large pre-trained diffusion models that enable fast adaptation to new domains. DiffFit is embarrassingly simple that only fine-tunes the bias term and newly-added scaling factors in specific layers, yet resulting in significant training speed-up and reduced model storage costs. Compared with full fine-tuning, DiffFit achieves 2$ imes$ training speed-up and only needs to store approximately 0.12\% of the total model parameters. Intuitive theoretical analysis has been provided to justify the efficacy of scaling factors on fast adaptation. On 8 downstream datasets, DiffFit achieves superior or competitive performances compared to the full fine-tuning while being more efficient. Remarkably, we show that DiffFit can adapt a pre-trained low-resolution generative model to a high-resolution one by adding minimal cost. Among diffusion-based methods, DiffFit sets a new state-of-the-art FID of 3.02 on ImageNet 512$ imes$512 benchmark by fine-tuning only 25 epochs from a public pre-trained ImageNet 256$ imes$256 checkpoint while being 30$ imes$ more training efficient than the closest competitor.

연구 동기 및 목표

• 대규모 사전 훈련된 확산 모델을 새로운 도메인에 효율적으로 적응시키는 도전에 대응하기 위해.
• 확산 모델의 미세조정 동안 훈련 시간과 모델 저장 비용을 줄이기 위해.
• 최소한의 추가 파라미터로 저해상도 사전 훈련된 모델을 고해상도 생성으로 신속하게 적응시키기 위해.
• 높은 파라미터 효율성을 유지하면서도 하류 벤치마크에서 최고의 성능을 달성하기 위해.

제안 방법

• DiffFit는 확산 모델의 특정 레이어에서 편향 항과 새로 추가된 스케일링 인자만 미세조정한다.
• 이 방법은 잔차 블록에 학습 가능한 스케일링 인자를 도입하며, 주 네트워크 가중치는 동결한 채로 미세조정 중 업데이트된다.
• 스케일링 인자는 잔차 연결 이전의 특징 맵에 적용되어 적응 과정에서 동적 특징 조절이 가능하다.
• 이 방법은 총 모델 파라미터의 약 ~0.12%만 업데이트하므로 파라미터 효율적이다.
• 이론적 분석은 스케일링 인자가 전체 네트워크 재훈련 없이도 특징 표현을 조절함으로써 신속한 적응을 가능하게 한다고 밝힌다.
• 최소한의 학습 가능한 파라미터를 추가함으로써 저해상도에서 고해상도 생성으로의 제로샷 적응을 지원한다.

실험 결과

연구 질문

• RQ1 파라미터 효율적인 미세조정 전략이 훈련 비용과 저장 비용을 크게 줄이면서도 하류 확산 작업에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 학습 가능한 스케일링 인자와 편향 항의 사용이 사전 훈련된 확산 모델의 신속한 적응에 얼마나 효과적인가?
• RQ3 최소한의 추가 파라미터로 저해상도 사전 훈련된 확산 모델을 고해상도 생성으로 효율적으로 적응시킬 수 있는가?
• RQ4 대규모 확산 모델의 미세조정 시 파라미터 효율성과 성능 간의 상호 교환 관계는 어떠한가?
• RQ5 제안된 방법이 FID 및 훈련 효율성 측면에서 전체 미세조정 및 다른 파라미터 효율 기반 베이스라인을 초월하는가?

주요 결과

• DiffFit는 ImageNet 512×512 벤치마크에서 FID 3.02의 새로운 SOTA 점수를 달성하여 이전 방법들을 능가한다.
• 전체 미세조정 대비 훈련 시간을 2배로 단축시키며, 모델 파라미터의 0.12%만 업데이트한다.
• DiffFit는 256×256 사전 훈련 모델에서 512×512 생성으로의 적응을 수행하며, 가장 가까운 경쟁자 대비 훈련 효율성이 30배 높다.
• 8개의 하류 데이터셋에서 DiffFit는 전체 미세조정 대비 우월하거나 경쟁 가능한 성능을 달성한다.
• 이 방법은 최소한의 파라미터 오버헤드로 저해상도 확산 모델을 고해상도 생성으로 성공적으로 적응시킨다.
• 이론적 분석은 스케일링 인자가 특징 표현을 효과적으로 조절하여 빠르고 안정적인 적응을 가능하게 한다고 확인한다.