[논문 리뷰] Variational Image Restoration Network

Zongsheng Yue, Hongwei Yong외 3명|arXiv (Cornell University)|2020. 08. 25.

Advanced Image Processing Techniques참고 문헌 80인용 수 6

한 줄 요약

이 논문은 변분 추론을 통해 잠재적으로 깨끗한 이미지와 노이즈 분포를 추론하는 두 개의 딥 네트워크를 사용하여, 복잡한 픽셀 단위의 비i.i.d. 가우시안 노이즈와 일반적인 이미지 복화 과정을 모델링하는 변분 이미지 복원 네트워크를 제안한다. 이 방법은 실제 복화 조건을 명시적으로 모델링하여 이미지 노이징, 초해상도 복원, JPEG 디블로킹에서 최신 기술 수준의 성능을 달성하며, 일반화 능력 향상으로 기존의 딥러닝 기반 접근법을 능가한다.

ABSTRACT

Deep neural networks (DNNs) have achieved significant success in image restoration tasks by directly learning a powerful non-linear mapping from corrupted images to their latent clean ones. However, there still exist two major limitations for these deep learning (DL)-based methods. Firstly, the noises contained in real corrupted images are very complex, usually neglected and largely under-estimated in most current methods. Secondly, existing DL methods are mostly trained on one pre-assumed degradation process for all of the training image pairs, such as the widely used bicubic downsampling assumption in the image super-resolution task, inevitably leading to poor generalization performance when the true degradation does not match with such assumed one. To address these issues, we propose a unified generative model for the image restoration, which elaborately configures the degradation process from the latent clean image to the observed corrupted one. Specifically, different from most of current methods, the pixel-wisely non-i.i.d. Gaussian distribution, being with more flexibility, is adopted in our method to fit the complex real noises. Furthermore, the method is built on the general image degradation process, making it capable of adapting diverse degradations under one single model. Besides, we design a variational inference algorithm to learn all parameters involved in the proposed model with explicit form of objective loss. Specifically, beyond traditional variational methodology, two DNNs are employed to parameterize the posteriori distributions, one to infer the distribution of the latent clean image, and another to infer the distribution of the image noise. Extensive experiments demonstrate the superiority of the proposed method on three classical image restoration tasks, including image denoising, image super-resolution and JPEG image deblocking.

연구 동기 및 목표

• 기존의 딥러닝 기반 이미지 복원 방법들이 단순하고 고정된 복화 과정을 가정하고 현실적인 노이즈를 忽略하는 한계를 해결하기 위해.
• 청결한 이미지에서 손상된 이미지로의 유연하고 학습 가능한 변환으로서의 이미지 복화 과정을 모델링하여 일반화 능력을 향상시키기 위해.
• 현실의 손상된 이미지에서 자주 간과되거나 과소평가되는 복잡한 비i.i.i.d. 노이즈 분포를 명시적으로 모델링하기 위해.
• 다양한 복화 유형에 적응할 수 있는 단일 프레임워크 내에서 통합된 생성 모델을 개발하기 위해.
• 명시적인 목적 손실 함수를 갖춘 변분 추론 알고리즘을 통해 엔드 투 엔드 학습을 가능하게 하여 강건성과 성능을 향상시키기 위해.

제안 방법

• 이 방법은 관측된 손상된 이미지를 복화 과정를 통해 잠재적 청결한 이미지에서 유도된 것으로 간주하는 생성 모델링 문제로 이미지 복원을 설정한다.
• 표준 i.i.d. 노이즈 가정보다 더 큰 유연성을 제공하기 위해, 복잡한 현실 노이즈를 픽셀 단위의 비i.i.d. 가우시안 분포로 모델링한다.
• 일반적인 이미지 복화 과정을 명시적으로 모델링하여, 재학습 없이도 다양한 복화 유형에 적응할 수 있도록 한다.
• 잠재적 청결한 이미지와 노이즈의 사후 분포를 매개변수화하기 위해 두 개의 딥 네트워크를 사용하며, 이는 변분 추론을 통한 동시 추론을 가능하게 한다.
• 전체 모델 파라미터를 엔드 투 엔드로 최적화할 수 있도록 명시적인 목적 손실 함수를 갖춘 변분 추론 알고리즘을 사용하여 모델을 학습한다.
• 이 프레임워크는 단일 통합 아키텍처 내에서 노이징, 초해상도 복원, JPEG 디블로킹과 같은 다양한 이미지 복원 작업을 지원한다.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 프레임워크가 비i.i.d.이고 공간적으로 변하는 복잡한 현실 이미지 노이즈를 효과적으로 모델링할 수 있는가?
• RQ2 명시적인 복화 과정 모델링이 다양한 이미지 복원 작업 간의 일반화 능력을 어떻게 향상시키는가?
• RQ3 두 개의 사후 분포 네트워크를 갖춘 변분 추론 기반 접근법이 이미지 복원에서 표준 오토인코더 스타일의 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 고정된 복화 조건(예: 이차형 보간에 의한 다운샘플링)을 가정하여 학습된 기존의 딥러닝 방법에 비해 제안된 방법이 더 잘 일반화되는가?
• RQ5 동일한 모델이 작업별 특화된 적응 없이도 여러 이미지 복원 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 이미지 노이징, 초해상도 복원, JPEG 디블로킹에서 최신 기술 수준의 성능을 달성하며, 다양한 복화 유형에 걸쳐 뛰어난 일반화 능력을 입증한다.
• 비i.i.d. 복잡한 노이즈 분포를 모델링함으로써, i.i.d. 또는 단순화된 노이즈 모델을 가정하는 기준선 방법보다 뚜렷한 성능 향상을 보였다.
• 학습 가능한 일반 복화 과정을 사용함으로써, 작업별 재학습 없이도 현실의 손상된 이미지에 적응할 수 있었다.
• 청결한 이미지와 노이즈의 사후 분포 추정을 위한 별도의 네트워크를 갖춘 이중 스트림 변분 추론 프레임워크는 더 정확하고 강건한 추론을 가능하게 하였다.
• 광범위한 실험을 통해, 복화 조건이 일치하지 않는 상황에서도 기존의 딥러닝 기반 접근법보다 더 나은 일반화 능력을 입증하였다.
• 모든 세 가지 벤치마크 작업에서 일관된 성능 향상이 관찰되어 통합된 생성 모델링 공식의 효과성을 검증하였다.