[논문 리뷰] Burst Denoising with Kernel Prediction Networks

Ben Mildenhall, Jonathan T. Barron외 4명|arXiv (Cornell University)|2017. 12. 06.

Image and Signal Denoising Methods참고 문헌 23인용 수 30

한 줄 요약

이 논문은 손실된 이미지 버스트를 보정하기 위해 공간적으로 변화하는 3D 필터를 예측하는 커널 예측 네트워크(KPN)를 제안한다. 이 방법은 손실된 이미지 버스트를 동시에 정렬하고 제거함으로써 휴대용 카메라에서 촬영한 다수의 노이즈가 많은 이미지의 품질을 향상시킨다. 합성 데이터는 현실적인 노이즈 모델을 기반으로 생성되었으며, 냉각 손실 함수를 최적화하여 훈련되었다. 이 방법은 합성 데이터와 실제 데이터 양쪽 모두에서 최신 기술을 능가하며, 특히 고노이즈 및 고운동 조건에서 뛰어난 성능을 보인다. 또한 노이즈 추정치를 입력으로 제공받을 경우 다양한 노이즈 수준으로 일반화할 수 있다.

ABSTRACT

We present a technique for jointly denoising bursts of images taken from a handheld camera. In particular, we propose a convolutional neural network architecture for predicting spatially varying kernels that can both align and denoise frames, a synthetic data generation approach based on a realistic noise formation model, and an optimization guided by an annealed loss function to avoid undesirable local minima. Our model matches or outperforms the state-of-the-art across a wide range of noise levels on both real and synthetic data.

연구 동기 및 목표

• 낮은 조도 조건에서 카메라 및 장면의 움직임으로 인해 발생하는 이미지 버스트의 노이즈 제거 문제를 해결하기 위해, 단순한 평균화가 정렬 불량과 노이즈로 인해 실패하는 상황을 다루는 것.
• 단일 아키텍처를 사용하여 다수의 프레임을 동시에 정렬하고 제거할 수 있는 딥러닝 모델을 개발하여 잡음과 세부 정보 손실을 방지하는 것.
• 노이즈 수준 추정치를 입력으로 제공함으로써 다양한 노이즈 수준으로의 일반화를 가능하게 하여, 훈련 분포를 초월한 강건성을 향상시키는 것.
• 인터넷 이미지의 후처리된 이미지에서 실제 레이저 이미지 버스트를 합성하는 데이터 생성 파이프라인을 구축하여 실제 지표 데이터가 필요 없도록 하는 것.

제안 방법

• 이 방법은 각 출력 픽셀에 대해 고유한 3D 필터(공간적 및 시간적)를 예측하는 커널 예측 네트워크(KPN)를 사용하여, 학습된 공간적으로 변화하는 컨볼루션을 통해 동시에 노이즈 제거와 정렬을 수행한다.
• 합성 데이터 생성 파이프라인은 물리적 이미지 형성 원리를 기반으로 산란 노이즈와 리드 노이즈를 모델링하여 센서의 원시 데이터를 시뮬레이션하며, 후처리된 이미지를 노이즈 매개변수를 알 수 있는 현실적인 원시 버스트로 변환한다.
• 훈련 중에 안정적이고 잡음이 발생하지 않는 해법으로 유도하기 위해 냉각 손실 함수를 사용한다. 특히 움직임과 정렬 불량 상황에서 효과적이다.
• 네트워크는 기준 프레임, 대체 프레임, 그리고 각 픽셀의 노이즈 추정치 σ′을 입력으로 받아, 기대되는 노이즈 수준에 따라 서로 다른 프레임의 기여도를 적응적으로 가중한다.
• 예측된 필터 커널을 점검할 수 있도록 하여, 각 프레임이 최종 출력에 어떻게 기여하는지 시각적으로 해석 가능하게 한다.

실험 결과

연구 질문

• RQ1 합성 데이터로 훈련된 딥 네트워크가 휴대용 카메라로 촬영한 실제 이미지 버스트에 효과적으로 일반화되는가?
• RQ2 직접 픽셀 합성을 사용하는 것보다 공간적으로 변화하는 3D 필터를 예측하는 것이 이미지 버스트 제거 성능을 향상시키는가?
• RQ3 노이즈 추정치를 입력으로 받는 노이즈 인식 네트워크가 막힘 없는 노이즈 제거 네트워크보다 넓은 노이즈 수준 범위에서 더 잘 일반화되는가?
• RQ4 노이즈 수준 입력이 다양할 경우 네트워크의 행동은 어떻게 변화하는가? 특히 움직임과 정렬 불량 상황에서 어떻게 대처하는가?

주요 결과

• 제안된 KPN 모델은 합성 및 실제 이미지 버스트 양쪽 모두에서 최신 기술을 능가하며, 특히 저조도 및 고운동 조건에서 뛰어난 성능을 보였다. HDR+, 비국소 평균화, VBM4D와의 정성적 비교 결과에서 이를 입증하였다.
• Nexus 6P에서 확보한 실제 데이터에서 모델은 합성 데이터로만 훈련되었음에도 불구하고 그림자 부분의 세부 정보를 회복하고, 움직임으로 인한 흐림을 피하는 데 성공하였다.
• 노이즈 수준 추정치를 입력으로 제공받을 경우, 훈련 중에 관찰된 노이즈 수준을 초월하여 효과적으로 일반화되며, 훈련 노이즈 수준의 4배 수준에서도 높은 성능을 유지함을 로그 스케일 성능 곡선을 통해 입증하였다.
• 입력 노이즈 추정치를 통해 네트워크의 행동을 제어할 수 있다: 노이즈를 과소평가하면 기준 프레임을 우선시하는 보수적인 제거가 이루어지고, 노이즈를 과대평가하면 대체 프레임에 더 의존하며 출력을 부드럽게 만든다.
• 냉각 손실 함수의 사용은 훈련 안정성을 크게 향상시키며, 특히 프레임 간 미세한 정렬 불량 상황에서 국소 최소값을 피하는 데 기여한다.