[논문 리뷰] Deep Convolutional Denoising of Low-Light Images

Tal Remez, Or Litany외 2명|arXiv (Cornell University)|2017. 01. 06.

Image and Signal Denoising Methods참고 문헌 8인용 수 37

한 줄 요약

이 논문은 합성 노이즈 데이터를 사용해 엔드 투 엔드로 훈련되는 딥 컨volution 리스크 네트워크인 DenoiseNet을 제안한다. 이는 명시적인 노이즈 모델링 없이 저조도 영상에서 포아송 노이즈 제거를 위해 설계되었으며, 복잡한 노이즈 패턴을 암묵적으로 학습함으로써 기존 방법보다 최대 0.6 dB의 PSNR 향상을 달성하고, 비컨볼루션 대안보다 10배 빠른 속도를 제공한다. 특히 얼굴이나 경관과 같은 특정 이미지 클래스에서 훈련된 경우 성능 향상이 더욱 두드러진다.

ABSTRACT

Poisson distribution is used for modeling noise in photon-limited imaging. While canonical examples include relatively exotic types of sensing like spectral imaging or astronomy, the problem is relevant to regular photography now more than ever due to the booming market for mobile cameras. Restricted form factor limits the amount of absorbed light, thus computational post-processing is called for. In this paper, we make use of the powerful framework of deep convolutional neural networks for Poisson denoising. We demonstrate how by training the same network with images having a specific peak value, our denoiser outperforms previous state-of-the-art by a large margin both visually and quantitatively. Being flexible and data-driven, our solution resolves the heavy ad hoc engineering used in previous methods and is an order of magnitude faster. We further show that by adding a reasonable prior on the class of the image being processed, another significant boost in performance is achieved.

연구 동기 및 목표

• 센서의 한계로 인해 광자 부족 상태가 되는 저조도 모바일 촬영에서 포아송 노이즈를 다루기 위해.
• 비국소 유사성 또는 희소 코딩과 같은 가정에 의존하는 전통적인 모델 기반 노이즈 제거 방법에 비해, 데이터 기반의 빠른 대안을 개발하기 위해.
• 이미지 클래스 사전 지식을 통합하면 클래스 무관 네트워크를 초월해 노이즈 제거 성능을 향상시킬 수 있는지 탐색하기 위해.
• 딥 러닝이 명시적인 노이즈 모델링 없이도 복잡한 노이즈 구조를 암묵적으로 학습할 수 있음을 보여주기 위해.

제안 방법

• 특정 피크 강도 값을 가진 합성 포아송 노이즈 영상에서 엔드 투 엔드로 훈련된 완전 컨volution 리스크 네트워크(DenoiseNet)를 사용한다.
• 스킵 연결과 잔여 학습을 통해 다수의 레이어에 걸쳐 훈련 안정성과 특징 학습 성능을 향상시킨다.
• 클래스 인식 노이즈 제거를 위해, 얼굴, 꽃, 거리 등 특정 의미적 카테고리의 이미지 서브셋에서 네트워크를 피나이팅하여 전문화된 노이즈 추정을 가능하게 한다.
• 명시적인 노이즈 모델링 없이도 딥 컨volution 네트워크의 본질적 표현 능력을 활용해 노이즈가 있는 영상에서 정제된 영상으로의 비선형 맵핑을 학습한다.
• 분산 안정화 변환(VST)은 사용되지 않으며, 대신 네트워크가 직접 원시 포아송 분포 데이터에서 노이즈 제거를 학습한다.
• GPU 추론을 최적화하여 이전의 비컨볼루션 모델 기반 방법보다 수개의 주기 빠른 실시간 성능을 달성한다.

실험 결과

연구 질문

• RQ1 명시적인 노이즈 모델링 없이도 딥 컨volution 네트워크가 기존 모델 기반 포아송 노이즈 제거 방법을 능가할 수 있는가?
• RQ2 저조도 영상에서 노이즈 제거 성능 측면에서 클래스 무관 디노이저와 클래스 특화 디노이저의 성능는 어떻게 비교되는가?
• RQ3 네트워크는 레이어를 거치며 점진적으로 노이즈를 감소시키는가? 이 과정은 다양한 이미지 유형에서 일관된가?
• RQ4 명시적인 노이즈 통계 훈련 없이도 네트워크가 포아송 노이즈의 구조를 암묵적으로 학습할 수 있는가?

주요 결과

• 클래스 무관 DenoiseNet은 다양한 데이터셋에서 I+VST+BM3D 기준보다 최대 0.6 dB의 PSNR 향상을 보이며, 최신 기술 수준(SOTA)을 확립한다.
• 특정 이미지 클래스에서 피나이팅된 경우, DenoiseNet은 PSNR에서 추가로 0.15~0.31 dB 향상되며, 의미적 사전 지식의 유용성을 입증한다.
• 시각적 비교 결과, DenoiseNet은 이전 방법 대비 더 자연스러운 결과를 내며, 특히 질감과 윤곽에서 더 적은 잡음과 아티팩트를 생성한다.
• 재구성 오차가 레이어를 거치며 단조롭게 감소하는 경향을 보이며, 안정적이고 점진적인 노이즈 제거 과정임을 시사한다.
• 레이어별 기여도 맵은 초기 레이어가 대부분의 노이즈 감소를 담당하고, 더 깊은 레이어는 윤곽과 질감을 정밀하게 보정함을 보여준다.
• 혼동 행렬은 클래스 특화 디노이저가 의미적 카테고리별로 특화되어 있음을 확인하며, 대각선 우세도는 클래스 인식 성능의 높은 정확도를 나타낸다.