[논문 리뷰] CycleISP: Real Image Restoration via Improved Data Synthesis

Syed Waqas Zamir, Aditya Arora외 5명|arXiv (Cornell University)|2020. 03. 17.

Image and Signal Denoising Methods참고 문헌 63인용 수 23

한 줄 요약

이 논문은 sRGB 이미지를 RAW로, 그리고 다시 RAW에서 sRGB로 변환하는 데바이스에 관계없이 적용 가능한 프레임워크인 CycleISP를 제안한다. 이를 통해 실제 이미지 복원 작업을 위한 현실적인 합성 데이터 생성이 가능해지며, 이 데이터로 훈련시킨 결과, DND 및 SIDD와 같은 실세계 기준 평가에서 기존 방법보다 뛰어난 성능을 달성한다. 기존 방법 대비 5배 작고(260만 파라미터), 다양한 카메라 센서에 대한 일반화 능력 또한 뛰어나다.

ABSTRACT

The availability of large-scale datasets has helped unleash the true potential of deep convolutional neural networks (CNNs). However, for the single-image denoising problem, capturing a real dataset is an unacceptably expensive and cumbersome procedure. Consequently, image denoising algorithms are mostly developed and evaluated on synthetic data that is usually generated with a widespread assumption of additive white Gaussian noise (AWGN). While the CNNs achieve impressive results on these synthetic datasets, they do not perform well when applied on real camera images, as reported in recent benchmark datasets. This is mainly because the AWGN is not adequate for modeling the real camera noise which is signal-dependent and heavily transformed by the camera imaging pipeline. In this paper, we present a framework that models camera imaging pipeline in forward and reverse directions. It allows us to produce any number of realistic image pairs for denoising both in RAW and sRGB spaces. By training a new image denoising network on realistic synthetic data, we achieve the state-of-the-art performance on real camera benchmark datasets. The parameters in our model are ~5 times lesser than the previous best method for RAW denoising. Furthermore, we demonstrate that the proposed framework generalizes beyond image denoising problem e.g., for color matching in stereoscopic cinema. The source code and pre-trained models are available at https://github.com/swz30/CycleISP.

연구 동기 및 목표

• 이미지 노이즈 제거에서 합성 데이터(예: AWGN)와 실제 카메라 노이즈 사이의 도메인 갭을 해소하기 위해.
• 기존 합성 데이터 생성 방법은 가우시안 노이즈를 가정하고 신호에 따라 변하는, 파ip라인 변환된 노이즈를 모델링하지 못하는 한계를 극복하기 위해.
• 카메라 전용 파rameter가 필요 없이 RAW 및 sRGB 공간에서 현실적인 클리어/노이즈 이미지 쌍을 생성하는 방법을 개발하기 위해.
• 실세계 데이터셋에 잘 일반화되는 경량이면서 고성능의 노이즈 제거 네트워크를 훈련하기 위해.
• CycleISP 프레임워크의 적용 범위를 노이즈 제거를 넘어서, 예를 들어 스테레오스코픽 컬러 매칭과 같은 분야로 확장함을 보여주기 위해.

제안 방법

• 카메라 전용 메타데이터가 필요 없이 양방향으로 sRGB와 RAW 이미지 공간 간의 매핑을 학습하는 CycleGAN 기반 프레임워크인 CycleISP를 도입한다.
• 특징 표현과 복원 정확도를 향상시키기 위해 채널 및 공간 주의 메커니즘을 갖춘 이중 브랜치 네트워크를 사용한다.
• 학습된 CycleISP 모델를 통해 청소년 sRGB 이미지를 RAW로 변환한 후, 이 RAW 이미지에 노이즈를 주입하여 현실적인 노이즈를 합성한다.
• 노이즈 주입 과정을 역행할 수 있도록, 쌍화된 합성 데이터(Clean RAW/sRGB → Noisy RAW/sRGB)로 노이즈 제거 네트워크를 훈련시킨다.
• CycleISP의 장치에 관계없는 특성을 활용하여 공개된 sRGB 이미지에서 다양한 현실적인 훈련 데이터를 생성한다.
• 스테레오스코픽 시네마의 컬러 매칭에 CycleISP 프레임워크를 적용하여, RAW 공간 변환을 통해 타겟 뷰의 색채 특성을 소스 뷰로 이식한다.

실험 결과

연구 질문

• RQ1 장치에 관계없는 이미지 변환 모델이 저수준 시각 작업에서 현실적인 데이터 합성의 목적을 위해 sRGB와 RAW 도메인을 효과적으로 연결할 수 있는가?
• RQ2 CycleISP를 통해 생성된 합성 데이터로 훈련한 모델이 AWGN 기반 합성 데이터 대비 실세계 노이즈 제거 기준에서 더 나은 일반화 성능을 보일 수 있는가?
• RQ3 제안된 프레임워크는 노이즈 제거를 넘어서 스테레오스코픽 시네마에서의 컬러 매칭과 같은 다른 저수준 시각 문제로도 확장 가능한가?
• RQ4 노이즈 제거 네트워크의 아키텍처, 특히 주의 메커니즘의 영향은 성능과 파라미터 효율성에 어떤 영향을 미치는가?
• RQ5 CycleISP 프레임워크는 이미지 복원 작업에서 합성 데이터와 실제 데이터 사이의 도메인 시프트를 어느 정도 감소시키는가?

주요 결과

• 제안된 노이즈 제거 네트워크는 DND 데이터셋(RAW)에서 PSNR 40.44 dB, sRGB에서 36.16 dB를 기록하여 기존 최신 기술을 초월한다.
• SIDD 벤치마크에서 직접 평가했을 때 모델은 PSNR 50.14 dB를 달성하였으며, DND에서 미세조정한 후 이전 최고 성능 모델(UPI) 대비 1 dB 향상되었다.
• 노이즈 제거 모델의 파라미터 수는 260만 개로, 이전 최고 성능 모델(1180만 개) 대비 5배 감소하였으며, 성능은 유지되었다.
• 절단 실험 결과, 채널 및 공간 주의 메커니즘이 모두 필수적임을 확인하였으며, 둘 다 병렬로 사용했을 때 최고의 성능를 기록하였다.
• CycleISP 프레임워크는 스테레오스코픽 컬러 매칭에 효과적으로 일반화되었으며, 3D 시네마 데이터셋에서 PSNR 36.60 dB를 달성하여 기존 방법을 능가하였다.
• 모델는 강력한 제로샷 일반화 성능를 보였으며, DND에서 훈련하고 SIDD에서 평가했을 때 UPI 방법 대비 1 dB의 PSNR 향상을 기록하여 도메인 시프트에 대한 강건성을 입증하였다.