[논문 리뷰] SinSR: Diffusion-Based Image Super-Resolution in a Single Step

Yufei Wang, Wenhan Yang외 8명|arXiv (Cornell University)|2023. 11. 23.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

SinSR는 사전 훈련된 교사 모델로부터 결정론적 매핑을 흡수함으로써 단일 추론 단계 내에서 고해상도 이미지 생성을 가능하게 하는 단일 단계 기반 확산 초해상도 방법을 제안한다. 일관성 유지 손실과 유도된 결정론적 샘플링 전략을 활용하여 SinSR는 최신 기술 수준에 맞추거나 이를 초월하는 성능을 달성하며, 최대 ×10의 속도 향상을 이룬다.

ABSTRACT

While super-resolution (SR) methods based on diffusion models exhibit promising results, their practical application is hindered by the substantial number of required inference steps. Recent methods utilize degraded images in the initial state, thereby shortening the Markov chain. Nevertheless, these solutions either rely on a precise formulation of the degradation process or still necessitate a relatively lengthy generation path (e.g., 15 iterations). To enhance inference speed, we propose a simple yet effective method for achieving single-step SR generation, named SinSR. Specifically, we first derive a deterministic sampling process from the most recent state-of-the-art (SOTA) method for accelerating diffusion-based SR. This allows the mapping between the input random noise and the generated high-resolution image to be obtained in a reduced and acceptable number of inference steps during training. We show that this deterministic mapping can be distilled into a student model that performs SR within only one inference step. Additionally, we propose a novel consistency-preserving loss to simultaneously leverage the ground-truth image during the distillation process, ensuring that the performance of the student model is not solely bound by the feature manifold of the teacher model, resulting in further performance improvement. Extensive experiments conducted on synthetic and real-world datasets demonstrate that the proposed method can achieve comparable or even superior performance compared to both previous SOTA methods and the teacher model, in just one sampling step, resulting in a remarkable up to x10 speedup for inference. Our code will be released at https://github.com/wyf0912/SinSR

연구 동기 및 목표

• 일般적으로 고해상도 결과를 얻기 위해 15단계 이상이 필요한 확산 기반 초해상도 모델의 높은 추론 비용을 해결하기 위함.
• 감각적 품질이나 다양성을 훼손하지 않고 단일 단계 생성을 가능하게 하기 위함.
• 훈련 및 추론 오버헤드를 줄이면서도 고해상도 이미지 복원의 정밀도를 유지하기 위함.
• 지식 흡수 외에도 실제 정답 레이블을 직접 훈련 중에 활용하여 일반화 능력을 향상시키기 위함.

제안 방법

• 최근 최신 기술 수준의 방법인 ResShift에서 유도된 결정론적 샘플링 전략을 활용하여 입력 노이즈와 고해상도 이미지 간의 훈련 데이터 쌍 생성을 가속화함.
• 입력 무작위 노이즈와 해당 고해상도 출력 간의 이방향 결정론적 매핑을 학습하기 위해 학생 모델을 훈련함.
• 실제 이미지와 예측된 초기 노이즈 상태로부터 재구성된 이미지 간의 차이를 최소화하는 일관성 유지 손실을 도입함.
• 교사 모델의 생성 능력을 학생 모델로 이전하기 위해 지식 흡수를 활용하여 단일 단계 추론을 가능하게 함.
• 미세 조정 비용을 줄이고 수렴을 향상시키기 위해 사전 훈련된 교사 모델에서 학생 모델을 초기화함.
• 훈련 중에는 ODE 해법을 활용하여 고품질의 훈련 쌍을 생성하고, 추론 시에는 단일 단계에서 매우 빠른 처리를 가능하게 함.

실험 결과

연구 질문

• RQ1 장기적인 마르코프 체인에 의존하지 않고도 확산 기반 초해상도 모델이 단일 추론 단계 내에서 높은 감각적 품질을 달성할 수 있는가?
• RQ2 교사 확산 모델에서 학생 모델로 결정론적 매핑을 흡수하여 단일 단계 이미지 생성이 가능한가?
• RQ3 흡수 과정 중에 실제 정답 이미지를 통합하면 지식 흡수 외의 성능 향상이 가능한가?
• RQ4 일관성 유지 손실은 DDIM과 같은 전통적인 역전파 기반 방법에 비해 더 높은 정밀도와 더 적은 잡음 요소를 제공하는가?
• RQ5 기존 최신 기술 수준의 확산 기반 초해상도 방법과 비교해 본다면, 제안된 방법은 속도와 성능 면에서 어떻게 비교되는가?

주요 결과

• SinSR는 단일 추론 단계 내에서 ResShift [45]의 교사 모델과 비교해 유사하거나 더 뛰어난 성능을 달성하며, 최대 ×10의 속도 향상을 기록함.
• RealSet65 데이터셋에서 SinSR(24.32M 파라미터)는 CLIPIQA 점수 0.6499와 MUSIQ 점수 58.71을 기록했으며, 더 작은 ResShift 모델(24.32M)의 52.71 MUSIQ 점수를 초월함.
• 일관성 유지 손실 덕분에 시각적 비교에서 디테일 재구성 향상으로 인해 DDIM 역전파 방법보다 더 높은 정밀도를 달성함.
• SinSR의 훈련 시간은 더 복잡한 손실을 사용함에도 불구하고 약 2.57일(30,000 반복)로 줄어들었고, ResShift는 약 7.64일(500,000 반복)이 소요됨.
• 노이즈와 고해상도 이미지 간의 결정론적 매핑을 학습하는 학생 모델은 노이즈 제거 기반 접근 방식보다 모델 크기 감소에 훨씬 더 강건함을 보이며, 최적화가 더 쉬운 것으로 나타남.
• 더 단순한 흡수 전략을 사용함에도 불구하고, 반복적 흡수 과정에서 오류 누적이 발생하는 복잡한 방법들인 Rectified Flow보다 SinSR가 더 뛰어난 성능을 보임.