[논문 리뷰] Iterative Residual Network for Deep Joint Image Demosaicking and Denoising.

Filippos Kokkinos, Stamatios Lefkimmiatis|arXiv (Cornell University)|2018. 07. 16.

Image and Signal Denoising Methods인용 수 5

한 줄 요약

이 논문은 물리적 이미지 모델과 딥러닝을 융합하여 투명하고 해석 가능한 최적화 프레임워크를 제공하는 반복 잔차 신경망을 제안한다. 물리적 이미지 모델에서 유도된 반복 알고리즘에 학습 가능한 노이즈 제거 신경망을 통합함으로써, 더 적은 파라미터와 더 적은 훈련 데이터 요구량으로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Modern digital cameras rely on the sequential execution of separate image processing steps to produce realistic images. The first two steps are usually related to denoising and demosaicking where the former aims to reduce noise from the sensor and the latter converts a series of light intensity readings to color images. Modern approaches try to jointly solve these problems, i.e. joint denoising-demosaicking which is an inherently ill-posed problem given that two-thirds of the intensity information is missing and the rest are perturbed by noise. While there are several machine learning systems that have been recently introduced to solve this problem, the majority of them relies on generic network architectures which do not explicitly take into account the physical image model. In this work we propose a novel algorithm which is inspired by powerful classical image regularization methods, large-scale optimization, and deep learning techniques. Consequently, our derived iterative optimization algorithm, which involves a trainable denoising network, has a transparent and clear interpretation compared to other black-box data driven approaches. Our extensive experimentation line demonstrates that our proposed method outperforms any previous approaches for both noisy and noise-free data across many different datasets. This improvement in reconstruction quality is attributed to the rigorous derivation of an iterative solution and the principled way we design our denoising network architecture, which as a result requires fewer trainable parameters than the current state-of-the-art solution and furthermore can be efficiently trained by using a significantly smaller number of training data than existing deep demosaicking networks. Code and results can be found at this https URL

연구 동기 및 목표

• 세션 데이터가 노이즈에 의해 손상되고 색상 정보의 2/3가 손실된, 공동 복원 및 노이즈 제거 문제의 정의되지 않은 성격을 다루기 위해.
• 물리적 이미지 사전 지식과 최적화 이론을 통합하여 블랙박스 딥러닝 모델의 한계를 극복하기 위해.
• 기존의 딥 복원 방법보다 훨씬 적은 훈련 데이터가 필요한 경량이고 효율적인 네트워크 아키텍처를 설계하기 위해.
• 일반적인 신경망보다 더 명확한 해석 가능성과 함께 명확한 수렴 보장을 제공하는 투명한 반복 최적화 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 물리적 이미지 모델과 대규모 최적화 원리에 기반한 반복 최적화 문제로 공동 복원 및 노이즈 제거를 수식화한다.
• 각 반복 단계에서 이미지 추정치를 개선하기 위해 학습 가능한 노이즈 제거 신경망을 적용하며, 네트워크 아키텍처는 구조적 및 색상 정합성을 유지하도록 특별히 설계되었다.
• 최적화 과정은 데이터 적합성과 정규화 단계를 번갈아 적용하며, 노이즈 제거 신경망이 학습된 정규화자 역할을 한다.
• 손실 함수를 사용해 노이즈 있는 데이터셋과 노이즈 없는 데이터셋 양쪽에서 복원 오차를 최소화함으로써, 엔드 투 엔드로 네트워크를 훈련시킨다.
• 높은 성능를 유지하면서도 학습 가능한 파라미터 수를 최소화하도록 아키텍처를 명시적으로 설계하였다.
• 반복 프레임워크는 표준 블랙박스 딥러닝 접근 방식과는 달리 해석 가능성과 수렴 보장을 제공한다.

실험 결과

연구 질문

• RQ1 딥러닝을 통합한 반복 최적화 프레임워크는 종합적인 신경망보다 공동 복원 및 노이즈 제거의 재구성 품질을 향상시킬 수 있는가?
• RQ2 물리적 이미지 사전 지식을 어떻게 효과적으로 딥러닝 아키텍처에 통합하여 해석 가능성과 성능을 향상시킬 수 있는가?
• RQ3 경량이고 파라미터 효율적인 네트워크 아키텍처는 훨씬 적은 훈련 데이터로 최신 기술 수준의 성능를 달성할 수 있는가?
• RQ4 반복적이고 잔차 구조를 사용할 경우, 다양한 데이터셋에 걸쳐 더 나은 수렴성과 강건성 확보가 가능한가?

주요 결과

• 제안된 방법은 노이즈 있는 경우와 없는 경우에 모두 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능를 달성한다.
• 현재 최신 기술 수준의 딥러닝 솔루션보다 더 적은 학습 가능한 파라미터를 필요로 한다.
• 기존의 딥 복원 네트워크보다 훨씬 적은 훈련 데이터로 효과적으로 훈련될 수 있다.
• 반복 설계 덕분에 블랙박스 모델보다 더 나은 해석 가능성과 명확한 수렴 행동을 보인다.
• 정량적 결과는 다양한 데이터셋에서 뛰어난 PSNR 및 SSIM 점수를 보이며, 정확한 값은 제공된 초록에 기재되어 있지 않다.