[논문 리뷰] Learning Raw Image Denoising with Bayer Pattern Unification and Bayer Preserving Augmentation

Jiaming Liu, Chi-Hao Wu외 9명|arXiv (Cornell University)|2019. 04. 29.

Image and Signal Denoising Methods참고 문헌 30인용 수 5

한 줄 요약

이 논문은 딥러닝 기반의 원시 이미지 노이즈 제거를 위한 새로운 데이터 사전 처리 및 증강 기법인 BayerUnify와 BayerAug를 제안한다. 다양한 Bayer 패턴을 단일 표준으로 통합하고 기하학적으로 타당한 증강을 가능하게 함으로써 이질적인 데이터셋을 통해 단일 강력한 모델을 훈련시켜 NTIRE 2019 실사 이미지 노이즈 제거 챌린지에서 52.11 dB PSNR와 0.9969 SSIM의 최신 기술 수준 성능을 달성한다.

ABSTRACT

In this paper, we present new data pre-processing and augmentation techniques for DNN-based raw image denoising. Compared with traditional RGB image denoising, performing this task on direct camera sensor readings presents new challenges such as how to effectively handle various Bayer patterns from different data sources, and subsequently how to perform valid data augmentation with raw images. To address the first problem, we propose a Bayer pattern unification (BayerUnify) method to unify different Bayer patterns. This allows us to fully utilize a heterogeneous dataset to train a single denoising model instead of training one model for each pattern. Furthermore, while it is essential to augment the dataset to improve model generalization and performance, we discovered that it is error-prone to modify raw images by adapting augmentation methods designed for RGB images. Towards this end, we present a Bayer preserving augmentation (BayerAug) method as an effective approach for raw image augmentation. Combining these data processing technqiues with a modified U-Net, our method achieves a PSNR of 52.11 and a SSIM of 0.9969 in NTIRE 2019 Real Image Denoising Challenge, demonstrating the state-of-the-art performance. Our code is available at https://github.com/Jiaming-Liu/BayerUnifyAug.

연구 동기 및 목표

• 다양한 Bayer 패턴을 가진 이질적인 원시 이미지 데이터셋 간에 단일 노이즈 제거 모델을 훈련시키는 과제를 해결하기 위해.
• 원시 이미지에 적용될 때 표준 RGB 기반 데이터 증강 기법이 공간 관계를 왜곡하고 성능을 떨어뜨릴 수 있는 한계를 극복하기 위해.
• 도메인 특화된 사전 처리 및 증강 기법을 도입하여 원시 이미지 노이즈 제거에서 모델의 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• BayerUnify는 픽싱 및 자르기 연산을 사용하여 다양한 Bayer 패턴(예: RGGB, BGGR, GRBG)을 공간 구조를 유지하면서 단일 표준(BGGR)으로 통합한다.
• BayerAug는 Bayer 격자의 물리적 일관성을 유지하는 패턴 인식 전환을 적용함으로써 원시 이미지에서 기하학적 데이터 증강(예: 뒤집기, 자르기)을 가능하게 한다.
• 이 방법은 원시 이미지를 4채널 RGGB 텐서로 처리하여 사전 처리 및 증강이 기초 센서 패턴을 손상시키지 않도록 보장한다.
• 표준 합성곱을 대체하여 잔차 블록과 PReLU 활성화 함수를 사용한 수정된 U-Net 아키텍처를 사용하여 특징 학습을 향상시킨다.
• 모델 훈련은 메타데이터(예: 카메라 모델)에 따라 데이터를 분할하여 수행되며, BayerUnify 정규화 이후 각 모델은 입력 패턴에 맞게 특화된다.
• 추론 시에는 BayerUnify를 적용하여 테스트 입력을 표준화한 후 메타데이터 분류 기반의 모델 앙상블을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 Bayer 패턴을 가진 원시 이미지 데이터셋을 어떻게 효과적으로 통합하여 단일 일반화 가능한 노이즈 제거 모델을 훈련시킬 수 있는가?
• RQ2 원시 이미지 데이터에 표준 RGB 스타일의 데이터 증강 기법을 적용할 경우 성능에 어떤 영향을 미치는가?
• RQ3 패턴 인식 증강 기법이 원시 이미지의 공간적 및 구조적 일관성을 유지하면서 훈련 다양성을 증가시킬 수 있는가?
• RQ4 적절한 사전 처리 및 증강이 원시 이미지 노이즈 제거에서 일반화 능력과 성능 향상에 얼마나 기여하는가?
• RQ5 통합된, 증강된 훈련 파이프라인은 실제 환경의 노이즈 제거 벤치마크에서 패턴별 특화 모델을 능가할 수 있는가?

주요 결과

• 제안된 BayerUnify와 BayerAug 기법은 NTIRE 2019 실사 이미지 노이즈 제거 챌린지(트랙 1)에서 52.11 dB PSNR와 0.9969 SSIM을 달성하여 성능을 크게 향상시켰다.
• 단순한 사전 처리(예: 단순한 채널 순서 변경)와 단순한 증강은 성능을 떨어뜨리며, GRBG 패턴에서 PSNR가 42.78 dB로 떨어지므로 패턴 인식 기반 방법의 필요성을 강조한다.
• BayerUnify만으로도 단순 통합 대비 1.14 dB의 PSNR 향상을 기록하여 다양한 Bayer 패턴 간의 공간 구조 보존 효과를 입증한다.
• BayerUnify와 BayerAug를 결합하면 최고의 성능을 기록하여 RGGB 데이터에서 51.95 dB PSNR를 달성했으며, 이는 BayerUnify에 단순 증강을 적용한 경우보다 0.12 dB 향상된 결과이다.
• 절단 분석 결과, 부적절한 사전 처리 및 증강은 아티팩트를 유발하고 일반화 능력을 떨어뜨리므로 제안된 기법의 필요성을 확인한다.
• 잔차 블록과 모델 앙상블을 통한 최종 모델은 최신 기술 수준의 성능을 달성하여 제안된 데이터 파이프라인의 효과성을 확인한다.