[논문 리뷰] NODE: Extreme Low Light Raw Image Denoising using a Noise Decomposition Network

Hao Guan, Liu Liu외 3명|arXiv (Cornell University)|2019. 09. 11.

Image Processing Techniques and Applications인용 수 5

한 줄 요약

이 논문은 극저조도 원시 이미지에서 고유의 노이즈 성분을 명시적으로 분해하고 제거하기 위해 별도로 가우시안, 포아송, 고장 난 픽셀 노이즈를 추정하는 다중 작업 딥 네트워크인 NODE를 제안한다. 물리 기반 노이즈 모델링을 활용하여 원시 도메인에서 직접 작동함으로써, 특히 임펄스성 고장 난 픽셀 노이즈를 효과적으로 억제하면서 미세한 질감을 유지하는 데 있어 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Denoising extreme low light images is a challenging task due to the high noise level. When the illumination is low, digital cameras increase the ISO (electronic gain) to amplify the brightness of captured data. However, this in turn amplifies the noise, arising from read, shot, and defective pixel sources. In the raw domain, read and shot noise are effectively modelled using Gaussian and Poisson distributions respectively, whereas defective pixels can be modeled with impulsive noise. In extreme low light imaging, noise removal becomes a critical challenge to produce a high quality, detailed image with low noise. In this paper, we propose a multi-task deep neural network called Noise Decomposition (NODE) that explicitly and separately estimates defective pixel noise, in conjunction with Gaussian and Poisson noise, to denoise an extreme low light image. Our network is purposely designed to work with raw data, for which the noise is more easily modeled before going through non-linear transformations in the image signal processing (ISP) pipeline. Quantitative and qualitative evaluation show the proposed method to be more effective at denoising real raw images than state-of-the-art techniques.

연구 동기 및 목표

• 고감도 촬영에서 읽기 노이즈, 샷 노이즈, 고장 난 픽셀 노이즈가 증폭되는 극저조도 원시 이미지의 노이즈 제거 과제를 해결한다.
• 비선형 ISP 처리 이후에 작동하는 기존 노이즈 제거기들이 백색 가우시안 노이즈를 가정하는 데서 비롯되는 한계를 극복한다.
• 다중 노이즈 유형—가우시안, 포아송, 임펄스성 고장 난 픽셀 노이즈—을 명시적으로 모델링하고 분리함으로써 다중 작업 학습 프레임워크를 통해 이미지 품질을 향상시킨다.
• 극저조도 조건(ISO > 3200)에서 촬영된 실제 원시 이미지에서 뛰어난 성능을 입증한다.

제안 방법

• 가우시안, 포아송, 고장 난 픽셀 노이즈의 세 가지 노이즈 성분을 동시에 추정하도록 훈련된 다중 작업 딥 네트워크인 NODE를 제안한다.
• 읽기 노이즈는 가우시안, 샷 노이즈는 포아송, 고장 난 픽셀은 임펄스적 행동을 보임을 고려하여 원시 센서 데이터에 직접 작용하도록 네트워크를 설계한다.
• 공유 인코더와 세 개의 병렬 헤드(각각 노이즈 유형에 대응)를 사용하여 공동 최적화를 가능하게 하면서도 각 작업의 특수한 특징 학습을 유지한다.
• 입력 원시 이미지에서 추정된 노이즈 성분을 빼내어 청소된 이미지를 재구성함으로써 노이즈 분해를 수행한다.
• 장노출 기준 이미지에서 유도된 진짜 값과 함께 L1 손실 및 지각적 손실을 조합하여 네트워크를 훈련시킨다.
• 평가 시 진짜 값에서 고장 난 픽셀을 마스킹하여 잔여 노이즈에 대해 모델이 페널티를 받지 않도록 한다.

실험 결과

연구 질문

• RQ1 가우시안, 포아송, 고장 난 픽셀 노이즈를 명시적으로 분해하는 것이 종단 간 단일 작업 네트워크에 비해 극저조도 원시 이미지의 노이즈 제거 성능을 향상시키는가?
• RQ2 비선형 ISP 변환 이전의 원시 도메인에서 작동함으로써, ISP 후 처리 노이즈 제거보다 더 나은 노이즈 모델링과 높은 이미지 품질을 달성하는가?
• RQ3 제안된 다중 작업 네트워크는 기존 방법들이 잘 처리하지 못하는 임펄스성 고장 난 픽셀 노이즈를 얼마나 효과적으로 억제하는가?
• RQ4 DnCNN 및 MemNet과 같은 최신 딥 러닝 노이즈 제거기들과 비교해 볼 때, 제안된 방법은 미세 질감과 이미지 세부 정보를 얼마나 잘 유지하는가?
• RQ5 모델은 특정 센서나 ISO 설정에 국한되지 않고 일반화 가능한가, 아니면 특정 하드웨어나 증폭 수준에 의존하는가?

주요 결과

• 실제 극저조도 원시 이미지에서 NODE는 비교된 모든 방법들 중에서 가장 높은 PSNR와 SSIM 점수를 기록했으며, 마스킹된 진짜 값에서 PSNR 32.15 dB, SSIM 0.928를 기록했다.
• NODE의 지각적 인덱스(PI) 점수인 5.42는 모든 방법 중에서 가장 낮아 인간 관찰자가 평가할 때 뛰어난 시각적 품질을 나타낸다.
• 정성적 결과에서 NODE는 테이블과 같은 표면의 미세 질감을 잘 유지하면서 고장 난 픽셀 노이즈를 가장 효과적으로 제거했으며, DnCNN, Unet, MemNet은 잔여 노이즈가 남아 있었다.
• BM3D는 고립된 임펄스 노이즈가 존재할 경우 자기 유사성에 의존하는 데서 기인해 고장 난 픽셀 노이즈 처리에 매우 열악한 성능을 보였다.
• 다중 작업 설계 덕분에 각 하위 네트워크가 특정한 노이즈 유형에 집중함으로써 더 나은 노이즈 분리가 가능해졌고, 전체 노이즈 제거 정밀도가 향상되었다.
• 단일 기기와 단일 ISO(12800) 훈련 설정에도 불구하고, NODE는 실제 극저조도 조건에서 잘 일반화되어 강력한 내성적 성능을 보였다.