[논문 리뷰] Pseudo-ISP: Learning Pseudo In-camera Signal Processing Pipeline from A Color Image Denoiser

Yue Cao, Xiaohe Wu외 4명|arXiv (Cornell University)|2021. 03. 18.

Image and Signal Denoising Methods참고 문헌 46인용 수 4

한 줄 요약

이 논문은 쌍이 없는 테스트 노이즈 있는 이미지와 정제된 이미지를 기반으로, 사전 훈련된 컬러 이미지 노이즈 제거 모델을 실세계 노이즈 이미지에 적응시키는 Pseudo-ISP라는 쌍이 없는 학습 프레임워크를 제안한다. 이는 노이즈 불일치 문제를 해결하기 위해 가짜 인-카메라 신호 처리(ISP) 파이프라인과 신호에 의존하는 라우드RGB 노이즈 모델을 동시에 학습한다. 학습된 가짜-ISP와 노이즈 모델을 사용해 실제적인 노이즈가 있는 sRGB 이미지를 합성함으로써, 효과적인 노이즈 제거기 보정이 가능해지며, 다양한 실세계 데이터셋에서 성능을 크게 향상시킨다. 이는 CBDNet 및 RIDNet과 같은 최신 모델들에서도 성능 향상을 이끌어낸다.

ABSTRACT

The success of deep denoisers on real-world color photographs usually relies on the modeling of sensor noise and in-camera signal processing (ISP) pipeline. Performance drop will inevitably happen when the sensor and ISP pipeline of test images are different from those for training the deep denoisers (i.e., noise discrepancy). In this paper, we present an unpaired learning scheme to adapt a color image denoiser for handling test images with noise discrepancy. We consider a practical training setting, i.e., a pre-trained denoiser, a set of test noisy images, and an unpaired set of clean images. To begin with, the pre-trained denoiser is used to generate the pseudo clean images for the test images. Pseudo-ISP is then suggested to jointly learn the pseudo ISP pipeline and signal-dependent rawRGB noise model using the pairs of test and pseudo clean images. We further apply the learned pseudo ISP and rawRGB noise model to clean color images to synthesize realistic noisy images for denoiser adaption. Pseudo-ISP is effective in synthesizing realistic noisy sRGB images, and improved denoising performance can be achieved by alternating between Pseudo-ISP training and denoiser adaption. Experiments show that our Pseudo-ISP not only can boost simple Gaussian blurring-based denoiser to achieve competitive performance against CBDNet, but also is effective in improving state-of-the-art deep denoisers, e.g., CBDNet and RIDNet.

연구 동기 및 목표

• 학습 데이터와 다른 센서 노이즈와 ISP 파이프라인을 가진 테스트 이미지에 적용했을 때 깊이 학습된 노이즈 제거기의 성능 저하 문제를 해결하기 위해.
• 테스트 도메인의 쌍이 없는 노이즈 있는 이미지와 정제된 이미지 세트만을 사용하여 사전 훈련된 노이즈 제거기를 보정할 수 있도록 하기 위해.
• 사전 훈련된 노이즈 제거기를 활용해 가짜 정제된 이미지를 생성함으로써, sRGB 이미지에 대한 현실적인 노이즈 모델과 가짜-ISP 파이프라인을 학습하기 위해.
• 합성된 노이즈가 있는 이미지를 사용하여 가짜-ISP 학습과 노이즈 제거기 보정을 번갈아가며 수행함으로써 노이즈 제거 성능을 향상시키기 위해.

제안 방법

• 테스트 노이즈 있는 이미지에서 사전 훈련된 노이즈 제거기를 사용해 가짜 정제된 이미지를 생성하여, 쌍이 없는 테스트 노이즈 있는 이미지와 가짜 정제된 이미지 쌍을 형성한다.
• sRGB2Raw(역 ISP), 노이즈 추정(가짜 라우드RGB에서의 신호에 의존하는 노이즈 모델링), Raw2sRGB(전방 ISP)의 세 개의 하위 네트워크를 포함하는 Pseudo-ISP 모델을 제안하여 카메라 파이프라인을 시뮬레이션한다.
• 쌍이 없는 이미지 쌍을 기반으로 Pseudo-ISP 모델을 엔드 투 엔드로 훈련하여 현실적인 라우드RGB 노이즈 모델과 가짜-ISP 변환을 학습한다.
• 학습된 Pseudo-ISP와 노이즈 모델을 사용해 정제된 이미지에서 실제적인 노이즈가 있는 sRGB 이미지를 합성하여, 노이즈 제거기 보정을 위한 합성된 쌍 이미지 데이터를 생성한다.
• 가짜-ISP 학습과 노이즈 제거기 보정을 번갈아가며 반복적으로 수행함으로써 노이즈 모델링과 노이즈 제거 성능을 동시에 향상시킨다.
• 약한(예: 가우시안 블러링) 및 강한(예: CBDNet, RIDNet) 사전 훈련된 노이즈 제거기 모두에 이 방법을 적용하여 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 쌍이 없는 노이즈 있는 이미지와 정제된 이미지만을 사용하여, 알려지지 않은 센서 노이즈와 불일치하는 ISP 파이프라인을 가진 실세계 노이즈 이미지에 대해 사전 훈련된 노이즈 제거기를 효과적으로 적응시킬 수 있는가?
• RQ2 쌍이 없는 테스트 노이즈 있는 이미지와 가짜 정제된 이미지 쌍에서 현실적인 신호에 의존하는 노이즈 모델과 가짜-ISP 파이프라인을 어떻게 학습할 수 있는가?
• RQ3 Pseudo-ISP 모델에서 합성된 노이즈가 있는 이미지가 노이즈 제거기의 일반화 능력과 미리 보지 않은 테스트 데이터셋에서의 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 쌍이 없는 학습 방식이 노이즈 불일치 문제를 다루기 위해 표준 보정 또는 데이터 증강 기반 방법보다 우월한가?
• RQ5 Pseudo-ISP는 노이즈 특성이 다양한 실세계 데이터셋에서 고전적이고 최신의 딥 노이즈 제거기 모두를 향상시킬 수 있는가?

주요 결과

• Pseudo-ISP는 단순한 가우시안 블러링 기반 노이즈 제거기를 활용하여 실세계 데이터셋에서 CBDNet과 경쟁 가능한 성능을 달성한다.
• CBDNet과 RIDNet과 같은 최신 노이즈 제거기의 성능을 향상시키며, DND 데이터셋에서 최대 0.53 dB(Peak Signal-to-Noise Ratio)의 PSNR 향상을 기록했고, RIDNet의 경우 0.17 dB 향상되었다.
• SIDDPlus는 SIDD 훈련 세트와 큰 노이즈 불일치를 보이며, Pseudo-ISP는 이 데이터셋에서 0.5 dB 이상의 PSNR 향상을 기록하여 뛰어난 일반화 능력을 입증했다.
• JPEG 압축과 복잡한 디모사이킹을 포함한 도전적인 데이터셋인 CC15와 MIT-IP8에서도 Pseudo-ISP는 PSNR 향상 0.3–0.4 dB를 달성했다.
• 표준 보정 및 데이터 증강 기반 방법보다 명확한 성능 우위를 보였으며, 더 긴 훈련 시간 때문이 아닌 성능 향상이었다.
• Pseudo-ISP로 보정된 PT-MWRN*는 모든 다섯 개인 데이터셋에서 최고의 PSNR 성능을 기록했으며, SIDDPlus에서 두 번째로 높은 성능을 기록한 DIDN을 0.44 dB 초월했다.