[논문 리뷰] End-to-End Denoising of Dark Burst Images Using Recurrent Fully Convolutional Networks

Di Zhao, Lan Ma외 2명|arXiv (Cornell University)|2019. 04. 16.

Image and Signal Denoising Methods참고 문헌 19인용 수 8

한 줄 요약

이 논문은 극저조도 조건에서 촬영한 원시 버스트 이미지를 직접로 sRGB 출력으로 엔드 투 엔드로 노이즈 리덕션하는 순환형 완전 컨volution 네트워크(RFCN)를 제안한다. 모델은 프레임 간 시간적 일관성을 활용하여 최신 기술 대비 뛰어난 성능을 달성하며, 피팅 튜닝 없이도 다양한 카메라에서의 일반화 능력을 보여준다.

ABSTRACT

When taking photos in dim-light environments, due to the small amount of light entering, the shot images are usually extremely dark, with a great deal of noise, and the color cannot reflect real-world color. Under this condition, the traditional methods used for single image denoising have always failed to be effective. One common idea is to take multiple frames of the same scene to enhance the signal-to-noise ratio. This paper proposes a recurrent fully convolutional network (RFCN) to process burst photos taken under extremely low-light conditions, and to obtain denoised images with improved brightness. Our model maps raw burst images directly to sRGB outputs, either to produce a best image or to generate a multi-frame denoised image sequence. This process has proven to be capable of accomplishing the low-level task of denoising, as well as the high-level task of color correction and enhancement, all of which is end-to-end processing through our network. Our method has achieved better results than state-of-the-art methods. In addition, we have applied the model trained by one type of camera without fine-tuning on photos captured by different cameras and have obtained similar end-to-end enhancements.

연구 동기 및 목표

• 단일 프레임 방법이 신호 대 노이즈 비율이 낮아 실패하는 극저조도 조건에서의 버스트 이미지 노이즈 리덕션 문제를 해결한다.
• 사전 처리 과정에서 정보 손실을 겪는 전통적인 단일 이미지 노이즈 리덕션 파이프라인의 한계를 극복한다.
• 원시 버스트 입력을 고품질 sRGB 출력으로 직접 매핑하는 엔드 투 엔드 프레임워크를 개발하여, 동시 노이즈 리덕션, 밝기 향상, 색상 보정을 가능하게 한다.
• 한 대의 카메라 데이터로 훈련한 후 다른 카메라에 직접 적용함으로써 피팅 튜닝 없이도 다양한 플랫폼 간 이식성을 확보한다.
• 단일 최적 이미지 또는 노이즈 제거된 프레임 시퀀스를 생성할 수 있도록 유연한 출력을 지원하여 향후 영상 노이즈 리덕션으로의 확장 가능성을 확보한다.

제안 방법

• 시간에 따라 프레임 단위로 원시 버스트 이미지를 처리하는 순환형 완전 컨볼루션 네트워크(RFCN)를 설계하여, 순환 연결을 통해 시간에 따른 특징을 집계하고 정제한다.
• 스킵 연결을 갖춘 U-Net 유사 인코더-디코더 아키텍처를 통합하여 공간적 세부 정보를 유지하고 특징 학습을 향상시킨다.
• 디모자이싱 없이도 원시 베이어 패턴 입력을 직접 처리하여 전체 센서 데이터를 보존하고 기존 파이프라인의 정보 손실을 방지한다.
• 픽셀 수준 재구성(L1 또는 L2 손실 등)과 지각적 품질을 동시에 최적화하는 손실 함수를 사용하여 엔드 투 엔드 훈련을 수행한다.
• 카메라별 블랙 레벨을 사용해 입력을 정규화하고, 베이어 패턴을 재구성하여 다양한 센서 유형 간 호환성을 확보한다.
• 순환 게이팅 메커니즘을 통해 이전 프레임의 특징 표현이 현재 프레임의 특징을 정보화할 수 있도록 하여 시간적 일관성을 활용한다.

실험 결과

연구 질문

• RQ1 단일 프레임 방법이 실패하는 극저조도 조건(예: 3 룩스 이하)에서 원시 버스트 이미지를 효과적으로 노이즈 리덕션하고 향상시키는 엔드 투 엔드 딥 러닝 모델은 가능한가?
• RQ2 다중 프레임 간 시간적 일관성을 활용함으로써 순환형 완전 컨볼루션 네트워크 아키텍처가 비순환형 또는 단일 프레임 기반 기준 대비 노이즈 리덕션 성능을 향상시키는가?
• RQ3 한 카메라의 원시 버스트 데이터로 훈련한 모델이 피팅 튜닝 없이 다른 카메라로 일반화되는 정도는 어느 정도이며, 이는 플랫폼 간 이식성의 잠재력을 보여주는가?
• RQ4 동일한 프레임워크가 단일 향상 이미지와 함께 노이즈 제거된 프레임 시퀀스를 생성할 수 있는가? 이는 향후 영상 노이즈 리덕션으로의 확장 가능성을 의미하는가?
• RQ5 직접 원시 데이터를 처리할 경우, 디모자이징 또는 사전 처리된 이미지 처리보다 더 나은 지각적 및 정량적 성능을 달성하는가?

주요 결과

• 제안된 RFCN는 SID 데이터셋에서 평균 PSNR 30.75와 SSIM 0.822를 기록하여 기준 평균(PSNR 30.06, SSIM 0.808)을 초월했다.
• 기준 대비 PSNR는 0.69 dB 향상되었고, SSIM은 0.014 증가하여 재구성 정확도와 구조적 유사성 측면에서 뚜렷한 향상을 보였다.
• 10프레임 시퀀스 전반에 걸쳐 PSNR와 SSIM 값이 점진적으로 증가하여, 순환 처리가 매번 새로운 프레임에서 이미지 품질을 향상시킨다는 것을 입증했다.
• 피팅 튜닝 없이도 다른 카메라의 원시 버스트 이미지에 대해 성공적으로 일반화되어 다양한 기기에서 일관되고 고품질의 결과를 생성했다.
• 시각적 비교 결과 RFCN는 평균 기반 기준 대비 텍스트, 잎의 질감, 구조적 윤곽 등의 미세한 디테일을 더 효과적으로 유지했다.
• 실내 어두운 환경(~0.1 룩스)과 월광 조명 조건(~0.6 룩스)을 포함한 다양한 극저조도 환경에서도 성능을 유지하여 극단적인 조명 조건에서도 뛰어난 강건성을 입증했다.