[논문 리뷰] Implicit Diffusion Models for Continuous Super-Resolution

Sicheng Gao, Xuhui Liu외 7명|arXiv (Cornell University)|2023. 03. 29.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 연속적인 이미지 초해상도 분석을 위한 암묵적 확산 모델(IDM)을 제안한다. 이 모델은 노이즈 제거 확산 기법과 암묵적 신경 표현을 결합하여 고해상도 연속적인 결과를 생성한다. 가용한 확대 비율에 따라 조절 가능한 조건화 메커니즘과 학습 가능한 스케일링 인자를 도입함으로써, 저해상도 입력 특징과 생성된 세부 정보 사이의 균형을 동적으로 조절한다. 이로 인해 고정된 확대 비율 제약 없이 종단 간 훈련이 가능하며, 자연 이미지 및 얼굴 이미지 초해상도 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Image super-resolution (SR) has attracted increasing attention due to its wide applications. However, current SR methods generally suffer from over-smoothing and artifacts, and most work only with fixed magnifications. This paper introduces an Implicit Diffusion Model (IDM) for high-fidelity continuous image super-resolution. IDM integrates an implicit neural representation and a denoising diffusion model in a unified end-to-end framework, where the implicit neural representation is adopted in the decoding process to learn continuous-resolution representation. Furthermore, we design a scale-controllable conditioning mechanism that consists of a low-resolution (LR) conditioning network and a scaling factor. The scaling factor regulates the resolution and accordingly modulates the proportion of the LR information and generated features in the final output, which enables the model to accommodate the continuous-resolution requirement. Extensive experiments validate the effectiveness of our IDM and demonstrate its superior performance over prior arts.

연구 동기 및 목표

• 기존 초해상도 모델이 과도하게 매끄럽게 출력하고, 고정된 확대 비율에 제한되는 등의 한계를 해결하기 위해.
• 재훈련이나 다단계 아키텍처 없이도 고해상도 연속적인 이미지 초해상도를 실현하기 위해.
• 암묵적 신경 표현을 확산 모델과 융합하여 해상도 연속적인 특징 학습을 가능하게 하기 위해.
• 추론 중에 저해상도 특징과 생성된 세부 정보의 기여도를 동적으로 조절할 수 있는 스케일 적응형 조건화 메커니즘을 설계하기 위해.
• 다양한 확대 비율에서 정량적 지표와 시각적 품질 측면에서 모두 최고 성능을 달성하기 위해.

제안 방법

• 모델은 핵심 생성 메커니즘으로 노이즈 제거 확산 과정을 사용하여 잠재 표현을 반복적으로 개선하여 고해상도 이미지로 향하게 한다.
• 암묵적 신경 표현은 U-Net 디코더에 통합되며, 공간 좌표 기반의 MLP로 매개변수화되어 이미지를 연속적인 함수로 모델링한다.
• 스케일 적응형 조건화 메커니즘이 도입되었으며, 저해상도 조건화 네트워크와 학습 가능한 스케일링 인자를 포함하여 출력 해상도를 동적으로 제어한다.
• 스케일링 인자는 적응형 MLP를 통해 인코딩된 저해상도 특징과 생성된 노이즈 제거 특징 간의 특징 융합을 조절하여 연속적인 해상도 제어를 가능하게 한다.
• 기존의 생성형 초해상도 방법과 달리, 추가적인 사전 지식이나 이중 단계 훈련 없이 전체 프레임워크를 종단 간으로 훈련한다.
• 모델은 다양한 확대 비율(예: 8×)에서 훈련되며, 추론 시 분포 내 및 분포 외 스케일 모두에 대해 일반화된다.

실험 결과

연구 질문

• RQ1 고정된 확대 비율 제약 없이도 확산 기반 모델이 고해상도 연속적인 이미지 초해상도를 달성할 수 있는가?
• RQ2 암묵적 신경 표현을 어떻게 효과적으로 확산 모델에 통합하여 해상도 연속적인 생성을 가능하게 할 수 있는가?
• RQ3 학습 가능한 스케일링 인자가 저해상도 사전 지식과 생성된 고주파 세부 정보 사이의 균형을 동적으로 조절하는 데서 수행하는 역할은 무엇인가?
• RQ4 종단 간, 사전 지식이 없는 프레임워크가 기존의 이중 단계 또는 사전 지식 증강 생성형 초해상도 모델보다 품질과 일반화 능력 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ5 학습 범위를 초월하는 분포 외 확대 비율(예: 9×, 10×)에서 모델의 성능은 어떻게 되는가?

주요 결과

• IDM은 자연 이미지 및 얼굴 이미지 초해상도 벤치마크에서 최고 성능을 기록하며, 기존의 생성형 방법보다 PSNR에서 0.50 dB 향상되고 SSIM에서 0.03 향상되었다.
• CelebA-HQ 데이터셋에서 IDM은 LPIPS 점수 측면에서 LIIF 및 SR3보다 뛰어나, PSNR가 낮더라도 더 나은 시각적 일관성을 보였다.
• 8× 초해상도에서 훈련된 IDM은 분포 외 확대 비율(예: 9×, 10×)에서도 효과적으로 일반화되며, 높은 시각적 품질과 구조적 정확성을 유지했다.
• 절단 실험 결과 스케일링 인자가 저해상도 사전 지식과 생성된 세부 정보의 균형을 제어하는 데 핵심적임을 확인했으며, 이를 생략하거나 단순 조건화로 대체할 경우 성능이 크게 저하됨을 입증했다.
• 직접적인 업샘플링 및 인코더 기반 조건화보다 제안된 저해상도 조건화 네트워크가 더 날카운 텍스처와 정확한 얼굴 세부 정보를 생성하여 정성적 비교에서 뛰어난 성능을 보였다.
• 다른 방법들이 사용하는 2800장의 이미지에 비해 단지 800장의 훈련 이미지만을 사용했음에도 불구하고 IDM은 더 뛰어난 성능을 달성하여 데이터 효율성과 강건성을 입증했다.