[논문 리뷰] FINO: Flow-based Joint Image and Noise Model

Lanqing Guo, Siyu Huang외 2명|arXiv (Cornell University)|2021. 11. 11.

Image and Signal Denoising Methods참고 문헌 29인용 수 4

한 줄 요약

FINO는 흐름 기반 생성 모델로, 정확한 이미지와 노이즈를 잠재 공간에서 직접 분리함으로써 이미지 및 노이즈 분포를 동시에 학습한다. 역행성 정규화 흐름을 통해 잠재 공간에서 청소년 이미지와 노이즈를 명시적으로 분리하고, 노이즈 상관관계 제약 조건과 변수 교환을 통한 구조적 정렬을 통합함으로써, 합성 및 실제 환경에서의 노이즈 제거 벤치마크에서 최고 성능을 달성하며, 공간적으로 변동하는 노이즈와 정확도가 떨어지는 노이즈 추정에 뛰어난 일반화 성능을 보인다.

ABSTRACT

One of the fundamental challenges in image restoration is denoising, where the objective is to estimate the clean image from its noisy measurements. To tackle such an ill-posed inverse problem, the existing denoising approaches generally focus on exploiting effective natural image priors. The utilization and analysis of the noise model are often ignored, although the noise model can provide complementary information to the denoising algorithms. In this paper, we propose a novel Flow-based joint Image and NOise model (FINO) that distinctly decouples the image and noise in the latent space and losslessly reconstructs them via a series of invertible transformations. We further present a variable swapping strategy to align structural information in images and a noise correlation matrix to constrain the noise based on spatially minimized correlation information. Experimental results demonstrate FINO's capacity to remove both synthetic additive white Gaussian noise (AWGN) and real noise. Furthermore, the generalization of FINO to the removal of spatially variant noise and noise with inaccurate estimation surpasses that of the popular and state-of-the-art methods by large margins.

연구 동기 및 목표

• 기존 노이즈 제거 방법이 이미지 사전 지식에만 집중하면서 명시적인 노이즈 모델링를 忽略하는 한계를 해결하기 위해.
• 청결한 이미지와 노이즈의 분포를 함께 모델링하는 통합 프레임워크를 개발하여, 둘 간의 상호보완적 정보를 활용하기 위해.
• 역행성 변환을 통해 잠재 공간에서 이미지 및 노이즈 성분을 효과적으로 분리하기 위해.
• 노이즈 상관관계 제약 조건과 구조적 정렬을 통합하여 실제 환경 노이즈 및 비균일 노이즈에 대한 일반화 성능을 향상시키기 위해.
• 외부 노이즈 추정이 필요 없이 빌드 인 노이즈 제거를 가능하게 하여 실용적 적용성을 높이기 위해.

제안 방법

• 노이즈가 있는 이미지와 잠재 공간 사이에서 손실 없는 이항 변환을 수행하기 위해 흐름 기반 역행성 신경망을 사용하여, 이미지 및 노이즈 성분이 분리된 잠재 공간에서 작업한다.
• 재구성된 이미지와 진짜 이미지 간의 구조적 콘텐츠를 정렬하기 위해 변수 교환 전략을 도입하여, 특징 수준의 일致성을 향상시킨다.
• 이웃 영역 간에 공간적으로 독립적인 노이즈를 강제로 모델링하기 위해 노이즈 상관행렬 제약 조건을 적용하여 노이즈를 상관없는 것으로 간주한다.
• 다중 구성 요소 손실을 사용하여 모델을 훈련한다: 이미지 및 노이즈 재구성 손실, 구조 정렬을 위한 콘텐츠 손실, 분포 일致성 확보를 위한 노이즈 모델링 손실.
• 단일 종단 간 프레임워크에서 이미지 사전 지식 학습과 노이즈 분포 모델링을 동시에 최적화함으로써 훈련 과정을 분리한다.
• 강력한 통합 모델링을 통해 명시적인 노이즈 수준 추정이 필요 없이 빌드 인 노이즈 제거를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이미지 사전 지식에만 의존하는 것 외에, 이미지 및 노이즈 분포를 명시적으로 통합 모델링하면 노이즈 제거 성능이 향상되는가?
• RQ2 공유된 잠재 공간에서 역행성 흐름이 이미지 및 노이즈 성분을 효과적으로 분리하면서도 구조적 무결성을 유지할 수 있는가?
• RQ3 공간적으로 상관없는 노이즈 모델링을 강제로 적용하면 실제 환경 노이즈 및 비균일 노이즈에 대한 강건성은 어느 정도 향상되는가?
• RQ4 제안된 변수 교환 전략이 다양한 노이즈 수준에서 구조적 정렬과 일반화 성능을 향상시키는가?
• RQ5 노이즈 수준 추정 또는 외부 노이즈 모델링이 필요 없이 FINO는 실제 환경 노이즈에 효과적으로 일반화되는가?

주요 결과

• 실제 환경 SIDD 데이터셋에서 FINO는 PSNR 39.40, SSIM 0.957을 달성하여, InvDN(39.28/0.955) 및 AINDNet(39.08/0.955)와 같은 최첨단 기법들을 능가한다.
• σ=25인 합성 AWGN에서 FINO는 PSNR 31.82를 기록하여, 다양한 노이즈 수준(σ=20, 25, 30)에서 강력한 성능과 일반화 능력을 입증한다.
• 제거 실험 결과, 콘텐츠 정렬 손실 또는 재구성 손실을 제거할 경우 성능이 크게 악화되며, 특히 높은 노이즈 수준에서 두드러진다.
• 시각화 결과 재구성된 노이즈가 진짜 노이즈와 매우 유사하게 나타나, 효과적인 노이즈 분리 및 모델링을 확인한다.
• 고정된 노이즈 가정에 의존하는 기법들과는 달리, 공간적으로 변동하는 노이즈 및 정확도가 떨어지는 노이즈 추정에 대해 우수한 일반화 성능을 보인다.
• 단지 3.96M 파라미터로도 AINDNet(13.76M) 및 VDN(7.81M)과 같은 경쟁 기법들보다 훨씬 작은 모델 크기로 뛰어난 성능을 달성한다.