[논문 리뷰] Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps

Mingxiao Li, Tingyu Qu외 3명|arXiv (Cornell University)|2023. 05. 24.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 추론 중에 최적의 시간 단계를 동적으로 선택함으로써 학습이 필요 없는 방법인 Time-Shift Sampler를 제안한다. 이는 노이즈 제거 과정에서 현재 시간 단계 주변의 창 안에서 더 나은 쌍을 이루는 단계를 찾음으로써 노출 편향을 완화한다. 이 방법은 FID 점수를 크게 향상시키며, CIFAR-10에서 단지 10단계로도 3.88 FID를 달성하여 F-PNDM 대비 44.49% 향상되었고, 100단계를 사용하는 일반 DDIM을 능가한다.

ABSTRACT

Diffusion Probabilistic Models (DPM) have shown remarkable efficacy in the synthesis of high-quality images. However, their inference process characteristically requires numerous, potentially hundreds, of iterative steps, which could exaggerate the problem of exposure bias due to the training and inference discrepancy. Previous work has attempted to mitigate this issue by perturbing inputs during training, which consequently mandates the retraining of the DPM. In this work, we conduct a systematic study of exposure bias in DPM and, intriguingly, we find that the exposure bias could be alleviated with a novel sampling method that we propose, without retraining the model. We empirically and theoretically show that, during inference, for each backward time step $t$ and corresponding state $\hat{x}_t$, there might exist another time step $t_s$ which exhibits superior coupling with $\hat{x}_t$. Based on this finding, we introduce a sampling method named Time-Shift Sampler. Our framework can be seamlessly integrated to existing sampling algorithms, such as DDPM, DDIM and other high-order solvers, inducing merely minimal additional computations. Experimental results show our method brings significant and consistent improvements in FID scores on different datasets and sampling methods. For example, integrating Time-Shift Sampler to F-PNDM yields a FID=3.88, achieving 44.49\% improvements as compared to F-PNDM, on CIFAR-10 with 10 sampling steps, which is more performant than the vanilla DDIM with 100 sampling steps. Our code is available at https://github.com/Mingxiao-Li/TS-DPM.

연구 동기 및 목표

• 학습(손상된 진짜 값 사용)과 추론(모델 예측 샘플 사용) 간의 괴리로 인해 발생하는 디퓨전 확률 모델(DPMs)의 노출 편향 문제를 조사하고 해결하기.
• 모델 재학습 없이도 노출 편향을 완화할 수 있는 추론 방법을 개발하여, 재학습의 높은 계산 비용을 피하기.
• 추론 과정에서 현재 노이즈 제거 상태와 더 잘 연결된 시간 단계를 식별함으로써 샘플 품질 향상과 추론 효율성 향상.
• DDPM, DDIM, F-PNDM와 같은 기존 추론 알고리즘과 호환되며, 최소한의 계산 비용으로 즉시 적용 가능한 플러그 앤 플레이 솔루션 제공.

제안 방법

• 각 노이즈 제거 단계에서 현재 상태 $ \hat{x}_t $와 더 나은 쌍을 이루는 시간 단계 $ t_s $를 창 $[t - w/2, t + w/2]$ 내에서 탐색하는 새로운 추론 전략인 Time-Shift Sampler를 제안.
• 검색을 적응적으로 제어하기 위해 마감 시간 단계 $ t_c $ 를 도입: $ t > t_c $ 인 경우 알고리즘이 시간 이동 검색을 수행하고, $ t \leq t_c $ 인 경우 원래 시간 단계를 사용하여 노이즈 제거의 자연스러운 진행 방향을 유지.
• 실험적으로 최적의 다음 시간 단계가 현재 샘플의 예측 분산과 관련이 있음을 규명하여, $ t_s $ 의 데이터 기반 선택 가능.
• DDPM, DDIM, F-PNDM와 같은 기존 추론 알고리즘에 쉽게 통합되며, 소수의 수정만으로도 거의 무시할 수 있는 계산 비용으로 구현 가능.
• 이론적 분석을 통해 최적의 다음 시간 단계의 분산을 유도하여 시간 이동 선택 메커니즘의 체계적 근거 제공.
• 검색 공간을 제한하고 안정성을 향상시키기 위해 창 기반 검색 전략을 사용하며, 창 크기는 추론 단계 수에 따라 조정됨.

실험 결과

연구 질문

• RQ1 모델 재학습 없이도 디퓨전 모델의 노출 편향을 완화할 수 있는가?
• RQ2 현재 노이즈 제거 상태 $ \hat{x}_t $ 와 더 나은 쌍을 이루는 시간 단계 $ t_s $ 가 존재하는가? 이는 샘플 품질 향상으로 이어지는가?
• RQ3 추론 중 시간 단계 선택이 생성된 이미지의 품질과 일관성에 어떤 영향을 미치는가?
• RQ4 학습이 필요 없는 플러그 앤 플레이 추론 방법이 다양한 추론 알고리즘과 데이터셋에서 일관된 향상을 이룰 수 있는가?
• RQ5 현재 상태와 그 예측 분산을 고려할 때, 노이즈 제거 과정에서 다음 시간 단계를 선택하는 최적의 전략은 무엇인가?

주요 결과

• Time-Shift Sampler는 현재 노이즈 제거 상태 $ \hat{x}_t $ 와 더 잘 연결된 시간 단계 $ t_s $ 를 선택함으로써 모델 재학습 없이도 노출 편향을 감소시키고 샘플 품질을 향상시킨다.
• CIFAR-10에서 단지 10개의 추론 단계로 F-PNDM에 Time-Shift Sampler를 통합할 경우 FID 점수가 3.88을 기록하여 원래 F-PNDM 대비 44.49% 향상되었다.
• 이 방법은 100단계를 사용하는 일반 DDIM보다 더 낮은 FID(3.88 vs. 4.04)를 달성하며, 훨씬 적은 단계로도 우수한 성능을 보였다.
• 10~50단계 범위에서는 창 크기 선택에 대해 강건하지만, 100단계에서는 더 미세한 단계 간격과 높은 예측 정확도로 인해 민감도가 증가한다.
• CIFAR-10에서 최적의 마감 시간 단계 $ t_c $ 는 [200, 400] 범위에 있으며, 더 적은 추론 단계를 사용할 경우 더 작은 값(예: 200)을 선호하는 것이 바람직하다.
• Time-Shift Sampler는 DDPM, DDIM, S-PNDM, F-PNDM 등 여러 추론 알고리즘과 호환되며, 모든 경우에서 일관되고 뚜렷한 성능 향상을 보였다.