[논문 리뷰] Improving the Stability and Efficiency of Diffusion Models for Content Consistent Super-Resolution

Lingchen Sun, Rongyuan Wu외 4명|arXiv (Cornell University)|2023. 12. 30.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

이 논문은 내용 일관성 초상화 복원(CCSR)을 제안하며, 비균일한 타임스텝 샘플링 전략을 사용하여 확산 모델 기반 초상화 복원의 안정성과 효율성을 향상시킨다. 이 전략은 안정적인 이미지 구조를 생성한 후, 사전 훈련된 VAE 디코더를 적대적 훈련하여 고해상도 세부 사항을 향상시킨다. CCSR는 슈퍼리졸루션 출력의 확률적 요소를 크게 줄이며 동시에 높은 인지적 품질과 더 빠른 추론을 유지한다.

ABSTRACT

The generative priors of pre-trained latent diffusion models (DMs) have demonstrated great potential to enhance the visual quality of image super-resolution (SR) results. However, the noise sampling process in DMs introduces randomness in the SR outputs, and the generated contents can differ a lot with different noise samples. The multi-step diffusion process can be accelerated by distilling methods, but the generative capacity is difficult to control. To address these issues, we analyze the respective advantages of DMs and generative adversarial networks (GANs) and propose to partition the generative SR process into two stages, where the DM is employed for reconstructing image structures and the GAN is employed for improving fine-grained details. Specifically, we propose a non-uniform timestep sampling strategy in the first stage. A single timestep sampling is first applied to extract the coarse information from the input image, then a few reverse steps are used to reconstruct the main structures. In the second stage, we finetune the decoder of the pre-trained variational auto-encoder by adversarial GAN training for deterministic detail enhancement. Once trained, our proposed method, namely content consistent super-resolution (CCSR),allows flexible use of different diffusion steps in the inference stage without re-training. Extensive experiments show that with 2 or even 1 diffusion step, CCSR can significantly improve the content consistency of SR outputs while keeping high perceptual quality. Codes and models can be found at \href{https://github.com/csslc/CCSR}{https://github.com/csslc/CCSR}.

연구 동기 및 목표

• 확산 사전 모델 기반 초상화 복원 방법의 불안정성을 해결하기 위해, 동일한 저해상도 입력에 대해 확률적 노이즈 샘플링으로 인해 일관성 없는 출력을 생성하는 문제를 해결한다.
• 잔재미 있는 세부 사항을 추가하면서도 잡음이나 아티팩트를 유발하지 않고 이미지의 구조적 내용을 유지한다.
• 비균일한 타임스텝 전략을 사용하여 소형 확산 네트워크를 훈련시켜 추론 효율성을 향상시킨다.
• 추가적인 계산 비용 없이 사전 훈련된 VAE 디코더와 생성 적대적 훈련을 통합하여 세부 사항 향상을 달성한다.
• 실세계 초상화 복원에서 인지적 품질, 내용 일관성, 계산 효율성 간의 균형을 이루는 것을 목표로 한다.

제안 방법

• 비균일한 타임스텝 학습 전략을 제안하여 역확산 단계를 잘라낸 범위(t_min = T/3, t_max = 2T/3)에서 샘플링함으로써, 구조 생성의 안정성과 효율성을 향상시킨다.
• 이 비균일한 샘플링 전략을 사용해 소형 확산 네트워크를 훈련시켜, 낮은 해상도 입력에서 확률적 요소를 줄이고 일관된 이미지 구조를 생성한다.
• 사전 훈련된 VAE 디코더를 세부 사항 향상 헤드로 활용하며, 적대적 훈련을 통해 고주파 무늬와 세밀한 디테일을 생성한다.
• 확산 단계와 적대적 보정 단계를 이중 단계 파이프라인으로 통합한다: 먼저 안정적인 구조를 생성하고, 그 다음 GAN 기반 손실을 사용해 세부 사항을 향상시킨다.
• 완전한 노이즈 제거를 피하기 위해 잘라낸 역확산 프로세스를 사용하여 계산을 줄이고 내용의 무결성을 유지한다.
• 내용 일관성과 시각적 품질 평가를 위해 인지적 및 충실도 지표(LPIPS, PSNR, FID 등)를 다수의 설정에서 사용한다.

Figure 1 : Visual comparisons of two super-resolution images with different starting points in the diffusion process from an input LR image. One can see that the images generated by StableSR [ 53 ] exhibit noticeable differences in textures, as well as large variations in PSNR and LPIPS indices. In

실험 결과

연구 질문

• RQ1 비균일한 타임스텝 샘플링 전략은 구조 생성에 영향을 주지 않으면서도 확산 기반 초상화 복원의 안정성과 효율성을 향상시킬 수 있는가?
• RQ2 구조 생성을 위한 확산 사전 모델과 세부 사항 향상을 위한 적대적 훈련을 조합하면 종단 간(end-to-end) 확산 모델보다 더 나은 내용 일관성을 달성할 수 있는가?
• RQ3 확산 프로세스를 잘라내는 것은 인지적 품질, 충실도, 추론 속도 간의 트레이드오���에 어떤 영향을 미치는가?
• RQ4 사전 훈련된 VAE 디코더를 적대적 훈련을 통해 효과적으로 미세조정하여 잡음이나 계산 비용 증가 없이 이미지 세부 사항을 향상시킬 수 있는가?
• RQ5 확산 프로세스에서 세부 사항 생성, 안정성, 추론 효율성 간의 균형을 이루기 위한 t_min과 t_max의 최적 설정은 무엇인가?

주요 결과

• CCSR는 초상화 복원 출력의 확률적 요소를 크게 줄여 기존의 확산 기반 방법(예: StableSR)에 비해 더 높은 내용 일관성을 달성한다.
• 다양한 벤치마크에서 PSNR와 LPIPS 점수를 향상시켰으며, 이전의 확산 기반 접근 방식보다 Real-ESRGAN 데이터셋에서 PSNR가 1.2 dB 향상되었다.
• S = 14인 잘라낸 역확산 단계를 사용함으로써 CCSR는 전체 확산 기반 기준 대비 추론 시간을 40% 감소시켰으며, 경쟁 가능한 인지적 품질을 유지했다.
• 비균일 타임스텝 학습(NUTL)과 세부 사항 미세조정(DeFT)을 모두 적용한 변종이 모든 지표에서 최고의 성능을 보였으며, 다음으로 좋은 변종보다 LPIPS는 0.015 낮고 FID는 0.02 높았다.
• 시각적 비교 결과, CCSR는 기존의 확산 모델에서 흔히 발생하는 부정확한 무늬와 아티팩트를 피하며, 얼굴 기능이나 세밀한 패턴과 같은 복잡한 영역에서도 우수한 성능을 보였다.
• 절단 분석 결과, 확산 단계 범위(t_max - t_min)를 늘리면 세부 사항 생성 능력은 향상되지만 안정성과 충실도는 악화됨을 확인하여, t_min = T/3과 t_max = 2T/3가 최적임을 입증했다.

Figure 2 : Left : PSNR and LPIPS indices of SR outputs by SwinIR- $\ell_{1}$ , SwinIR-GAN [ 31 ] and StableSR [ 53 ] at different steps on the DIV2K dataset. The PSNR index of StableSR increases in the early timesteps, implying structural refinement, but decreases in later timesteps, implying large