[논문 리뷰] Inversion by Direct Iteration: An Alternative to Denoising Diffusion for Image Restoration

Mauricio Delbracio, Peyman Milanfar|arXiv (Cornell University)|2023. 03. 20.

Photoacoustic and Ultrasonic Imaging인용 수 30

한 줄 요약

InDI는 작은 단계로 악화된 이미지를 반복적으로 복원하여 평균으로의 단일-스텝 회귀를 피하고 모션/블러, 디포커스, 초해상도, 압축 아티팩트 작업에서 지각 품질을 개선합니다. 시간 t로 조건화된 반복 복원 함수를 학습하며 알려진 열화 모델을 필요로 하지 않습니다.

ABSTRACT

Inversion by Direct Iteration (InDI) is a new formulation for supervised image restoration that avoids the so-called "regression to the mean" effect and produces more realistic and detailed images than existing regression-based methods. It does this by gradually improving image quality in small steps, similar to generative denoising diffusion models. Image restoration is an ill-posed problem where multiple high-quality images are plausible reconstructions of a given low-quality input. Therefore, the outcome of a single step regression model is typically an aggregate of all possible explanations, therefore lacking details and realism. The main advantage of InDI is that it does not try to predict the clean target image in a single step but instead gradually improves the image in small steps, resulting in better perceptual quality. While generative denoising diffusion models also work in small steps, our formulation is distinct in that it does not require knowledge of any analytic form of the degradation process. Instead, we directly learn an iterative restoration process from low-quality and high-quality paired examples. InDI can be applied to virtually any image degradation, given paired training data. In conditional denoising diffusion image restoration the denoising network generates the restored image by repeatedly denoising an initial image of pure noise, conditioned on the degraded input. Contrary to conditional denoising formulations, InDI directly proceeds by iteratively restoring the input low-quality image, producing high-quality results on a variety of image restoration tasks, including motion and out-of-focus deblurring, super-resolution, compression artifact removal, and denoising.

연구 동기 및 목표

• 일회 이미지 복원에서 회귀-대-평균의 한계를 해결한다
• 이미지 품질을 점진적으로 향상시키는 반복 복원 프레임워크를 제안한다
• 명시적 열화 모델에 의존하지 않도록 페어링된 훈련 데이터를 사용한다
• 다양한 복원 작업(모션/블러, SR, 압축 아티팩트)에 적용 가능성을 보여준다
• 방법을 확산 스타일 아이디어와 연결하면서도 모델- 및 열화-독립적임을 보인다

제안 방법

• 고품질 x와 저품질 y 사이의 중간 상태를 만들기 위해 t ∈ [0,1]인 순방향 열화 x_t = (1-t)x + t y를 정의한다
• 각 시간 단계에서 x_t로부터 x를 예측하기 위해 F_θ(x_t, t)라는 단일 조건 회귀기를 학습한다
• 반복적으로 x_{t-δ} = (δ/t)F_θ(x_t, t) + (1−δ/t)x_t를 업데이트하며 δ는 보폭을 제어한다(일반적으로 δ=1/N)
• 선택적 확률적 잡음 pertubations를 추가하여 후사 분포의 기대값을 잘 정의하고 지각 품질을 향상시킨다
• 연속 한계에서 잔차 흐름 ODE dx_t/dt = (x_t − F_θ(x_t, t))/t를 도출하고 가우시안 잡음 케이스에서 점수 기반 DSM과의 관계를 보인다
• y(또는 약간의 노이즈가 첨가된 y)에서 시작하여 x_0까지 반복하는 추론 알고리즘(Algorithm 1)을 제시한다

실험 결과

연구 질문

• RQ1 반복적이고 작은 보폭의 복원이 단일 스텝 회귀에 비해 텍스처와 리얼리즘 보존 면에서 우수한가?
• RQ2 페어링된 데이터를 학습하여 알려진 열화 모델 없이 다양한 고품질 이미지를 복원하는 것이 가능한가?
• RQ3 추론 스텝 수가 각 작업에서 인지-왜곡 간 균형에 어떤 영향을 미치는가?
• RQ4 InDI가 확산 기반 접근법과 어떻게 관련되며 가우스 열화 하에서 DSM 유사한 동작을 재현할 수 있는가?
• RQ5 복원 중 입력에 제어된 노이즈를 추가하면 지각적 결과가 개선되는가?

주요 결과

• 단일 스텝 회귀를 능가하는 지각 품질로 모든 작업에서 확산 모델에 근접한 성능을 보이면서도 더 단순하고 열화-독립적임
• GoPro 모션 디블러링에서 지각 지표에서 최첨단 성능을 달성하고 PSNR/SSIM은 경쟁력 있음
• 스텝 수를 늘리면 PSNR의 비용으로 지각 지표가 향상되어 지각-왜곡 trade-off를 보여줌
• div2k에서의 4× 초해상도에서 PSNR은 경쟁적이며 LPIPS가 더 낮은 등 지각 점수에서 우수, 여러 회귀 기반 방법보다 우수하고 확산 기반 접근에 근접
• 모듈은 모션/블러, 디포커스 블러링, JPEG 아티팩트 제거, 초해상도로 일반화되며, 점진적 복원 및 때때로 노이즈 섞기 이점 분석 포함
• 가우시안 열화 설정에서 이 방법의 ODE는 알려진 스코어 매칭 확산 역학과 일치하여 이론적 일관성을 보여준다