[논문 리뷰] Generating Training Data for Denoising Real RGB Images via Camera Pipeline Simulation

Ronnachai Jaroensri, Camille Biscarrat외 2명|arXiv (Cornell University)|2019. 04. 18.

Computer Graphics and Visualization Techniques참고 문헌 29인용 수 26

한 줄 요약

이 논문은 실제 RGB 이미지의 노이즈와 열화를 정확히 모델링하는 현실적인 카메라 파이프라인 시뮬레이터를 제안한다. 이는 디모자이킹, 노이즈 제거, 압축을 포함한다. 이 시뮬레이터로 생성된 훈련 데이터를 사용하여, CNN 노이즈 제거기의 성능이 실존하는 JPEG 이미지에서 추가적인 백색 가우시안 노이즈(AWGN) 훈련 대비 3 dB 이상 향상됨을 보여주며, 학습 기반 이미지 복원에서의 일반화를 위해 현실적인 노이즈 모델링이 필수적임을 입증한다.

ABSTRACT

Image reconstruction techniques such as denoising often need to be applied to the RGB output of cameras and cellphones. Unfortunately, the commonly used additive white noise (AWGN) models do not accurately reproduce the noise and the degradation encountered on these inputs. This is particularly important for learning-based techniques, because the mismatch between training and real world data will hurt their generalization. This paper aims to accurately simulate the degradation and noise transformation performed by camera pipelines. This allows us to generate realistic degradation in RGB images that can be used to train machine learning models. We use our simulation to study the importance of noise modeling for learning-based denoising. Our study shows that a realistic noise model is required for learning to denoise real JPEG images. A neural network trained on realistic noise outperforms the one trained with AWGN by 3 dB. An ablation study of our pipeline shows that simulating denoising and demosaicking is important to this improvement and that realistic demosaicking algorithms, which have been rarely considered, is needed. We believe this simulation will also be useful for other image reconstruction tasks, and we will distribute our code publicly.

연구 동기 및 목표

• 훈련 데이터(일반적으로 AWGN)와 실제 카메라 노이즈 간의 불일치로 인해 발생하는 학습 기반 이미지 노이즈 제거 성능 격차를 해소하기 위해.
• 디모자이킹, 노이즈 제거, 압축을 포함한 전체 카메라 처리 체인을 현실적으로 재현하는 시뮬레이션 파이프라인 개발을 위해.
• 학습 기반 노이즈 제거 모델의 실제 JPEG 이미지 복원 성능에 대한 현실적인 노이즈 모델링의 영향을 조사하기 위해.
• 실제 시뮬레이션 데이터를 사용하면 기존의 AWGN 기반 훈련에 비해 실제 테스트 이미지에서 더 뛰어난 성능을 보이는 것을 입증하기 위해.

제안 방법

• 디모자이킹, 노이즈 제거, 톤 매핑, 압축 등을 포함한 40개 이상의 구성 가능한 컴포넌트를 갖춘 모듈식 카메라 파이프라인 시뮬레이터를 구현하였다.
• 실제 카메라 파rameter를 적용하여 RAW 이미지를 소비자 스마트폰의 출력과 유사한 시각적으로 현실적인 RGB JPEG로 변환하였다.
• 특히 노이즈와 디모자이킹 특성에 변화를 주어 다양한 훈련 데이터 세트를 생성하였다.
• 비교 평가를 위해 최신 CNN 노이즈 제거기(N3Net 등)를 실존 시뮬레이션 데이터와 AWGN 데이터로 각각 훈련시켰다.
• 디모자이킹, 노이즈 제거, 후처리 등의 컴포넌트를 체계적으로 비활성화하여 각 요소가 성능에 기여하는 정도를 평가하기 위해 아블레이션 연구를 수행하였다.
• 다양한 기기(Pixel XL, iPhone 8, Samsung Galaxy S7)의 실제 테스트 이미지에서 PSNR와 SSIM을 사용하여 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 현실적인 노이즈 모델링이 실제 JPEG 이미지에서 학습 기반 노이즈 제거기 성능에 어떤 영향을 미치는가?
• RQ2 카메라 파이프라인의 어떤 컴포넌트(예: 디모자이킹, 노이즈 제거, 압축)가 현실적인 훈련 데이터 생성에 가장 중요한가?
• RQ3 디모자이킹 알고리즘의 선택(예: 이차보간 대비 엣지 인식형)이 시뮬레이션 데이터 품질과 이후 노이즈 제거 성능에 어떤 영향을 미치는가?
• RQ4 시뮬레이션 기반 훈련 접근 방식이 실제 카메라 출력으로의 일반화 성능 측면에서 기존의 AWGN 기반 훈련을 능가할 수 있는가?
• RQ5 특정 파이프라인 단계(예: 노이즈 제거 또는 디모자이킹)를 제거할 경우, 실제 이미지에서 훈련된 노이즈 제거기 성능이 얼마나 떨어지는가?

주요 결과

• 제안된 카메라 파이프라인 시뮬레이터로 생성된 데이터로 훈련된 CNN 노이즈 제거기는 실제 iPhone 8 JPEG 이미지에서 35.2 dB의 PSNR를 기록했으며, AWGN 기반 훈련 모델보다 3 dB 높은 성능을 보였다.
• 시뮬레이션 파이프라인에서 노이즈 제거 또는 디모자이킹 컴포넌트를 제거하면 성능이 크게 떨어지며, PSNR는 각각 34.0 dB와 33.9 dB로 감소하였다.
• 파이프라인에 엣지 인식형 디모자이킹 알고리즘(Kodak 및 AHD)을 사용할 경우, 일반적으로 이전 연구에서 사용된 이차보간 디모자이킹 대비 2.3 dB의 PSNR 향상을 기록하였다.
• 이차보간 디모자이킹을 사용할 경우 AHD 대비 SSIM 점수가 0.07 이상 감소하여, 현실적인 디모자이킹이 고성능 노이즈 제거에 필수적임을 확인하였다.
• 아블레이션 연구 결과, 현실적인 디모자이킹과 노이즈 제거의 모델링이 모두 필수적임을 입증하였으며, 둘 중 하나라도 생략할 경우 실제 데이터에서의 일반화 성능이 떨어졌다.
• 실제 RAW 이미지의 디모자이킹 후 노이즈 제거를 수행할 경우, 시뮬레이터 생성 데이터 기반 훈련이 AWGN 기반 훈련보다 PSNR에서 7–9 dB, SSIM에서 0.2–0.3 향상되어, 현실적인 전처리의 중요성을 입증하였다.