[논문 리뷰] CameraNet: A Two-Stage Framework for Effective Camera ISP Learning

Zhetong Liang, Jianrui Cai외 2명|arXiv (Cornell University)|2019. 08. 05.

Advanced Image Processing Techniques참고 문헌 38인용 수 21

한 줄 요약

CameraNet는 이미지 신호 처리(IPS)를 복원 및 향상 단계로 분리하여 성능을 향상시키기 위해 이단계 CNN 프레임워크를 제안한다. 각 단계는 전용 지도 데이터를 사용해 훈련되며, HDR+, SID, FiveK 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 노이즈 제거 및 색상 보정과 같은 복잡한 저수준 작업을 더 잘 학습하면서도 모델 효율성을 유지함으로써 가능하다.

ABSTRACT

Traditional image signal processing (ISP) pipeline consists of a set of individual image processing components onboard a camera to reconstruct a high-quality sRGB image from the sensor raw data. Due to the hand-crafted nature of the ISP components, traditional ISP pipeline has limited reconstruction quality under challenging scenes. Recently, the convolutional neural networks (CNNs) have demonstrated their competitiveness in solving many individual image processing problems, such as image denoising, demosaicking, white balance and contrast enhancement. However, it remains a question whether a CNN model can address the multiple tasks inside an ISP pipeline simultaneously. We make a good attempt along this line and propose a novel framework, which we call CameraNet, for effective and general ISP pipeline learning. The CameraNet is composed of two CNN modules to account for two sets of relatively uncorrelated subtasks in an ISP pipeline: restoration and enhancement. To train the two-stage CameraNet model, we specify two groundtruths that can be easily created in the common workflow of photography. CameraNet is trained to progressively address the restoration and the enhancement subtasks with its two modules. Experiments show that the proposed CameraNet achieves consistently compelling reconstruction quality on three benchmark datasets and outperforms traditional ISP pipelines.

연구 동기 및 목표

• 낮은 조도 및 높은 노이즈 조건에서 누적 오류가 발생하고 성능이 열 劣한 전통적인 수작업으로 구성된 ISP 파이프라인의 한계를 해결하기 위해.
• 다양한 ISP 하위 작업을 혼합하는 단일 단계 CNN의 낮은 학습 능력을 극복하기 위해.
• 복원 및 향상 작업을 분리하여 일반적이고 효과적이며 훈련 가능한 딥 러닝 기반 ISP 파이프라인을 개발하기 위해.
• 사전 처리를 통해 센서 색상 공간의 차이를 고려함으로써 교차 카메라 일반화를 가능하게 하기 위해.
• 이단계 모odular 설계를 통해 계산 복잡성을 줄이고 재구성 품질을 향상시키기 위해.

제안 방법

• CameraNet는 이단계 아키텍처를 사용한다: 첫 번째 단계는 복원(노이즈 제거, 디모사이킹)에 집중하고, 두 번째 단계는 색상 보정, 톤 매핑 등의 향상 작업에 집중한다.
• 두 가지 별도의 지도 데이터—복원 대상 및 향상 대상—을 정의하여 각 단계를 독립적으로 지도 학습할 수 있도록 한다.
• 모델은 세 단계로 훈련된다: 복원 및 향상 하위 네트워크를 별도로 훈련한 후, 경미한 공동 미세조정을 수행한다.
• 사전 처리 단계에서 RGB를 XYZ 색상 공간으로 변환하여 센서에 특화된 색상 차이를 정규화함으로써 교차 카메라 일반화를 향상시킨다.
• 각 단계는 다중 척도 특징을 캡처하고 이미지 세부 정보를 유지하기 위해 U-Net 기반 CNN 아키텍처를 사용한다.
• 약한 상관관계가 있는 ISP 하위 작업을 분리함으로써 더 나은 표현을 가능하게 하는 종단 간 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이단계 CNN 프레임워크는 단일 단계 접근 방식에 비해 종단 간 ISP 파이프라인 학습에서 딥 러닝 모델의 학습 능력을 향상시킬 수 있는가?
• RQ2 복원 및 향상 작업을 분리함으로써 재구성 품질과 다양한 카메라 간 일반화 능력에 어떤 영향을 미치는가?
• RQ3 복원 및 향상 단계에 대해 명시적으로 정의된 지도 데이터는 모든 ISP 하위 작업을 함께 최적화하는 것보다 더 높은 성능을 낼 수 있는가?
• RQ4 색상 공간 정규화(RGB에서 XYZ로)는 ISP 모델의 교차 카메라 이식 가능성에 어느 정도 기여하는가?
• RQ5 이단계 설계는 재구성 품질을 유지하거나 향상시키면서도 계산 복잡성을 줄이는가?

주요 결과

• HDR+ 데이터셋에서 CameraNet는 전통적인 ISP 파이프라인과 DeepISP-Net을 모두 압도하며, 특히 고노이즈 상황에서 더 높은 PSNR 및 SSIM 점수를 기록한다.
• SID 데이터셋에서 CameraNet는 PSNR와 색상 오차 측면에서 DeepISP-Net을 뚜렷이 능가하여 저조도 조건에서 더 강력한 노이즈 제거 및 색상 정확도를 보여준다.
• FiveK 데이터셋에서 CameraNet는 유사한 SSIM를 유지하면서도 DeepISP-Net보다 더 낮은 PSNR 및 색상 오차를 기록하여 복잡한 색상 조작에서 더 높은 충실도를 확보한다.
• 교차 카메라 테스트에서 Nikon D700, Sony A900, Canon EOS 서브셋 전반에 걸쳐 CameraNet는 DeepISP-Net보다 훨씬 낮은 색상 오차를 보이며 더 뛰어난 일반화 능력을 입증한다.
• CameraNet는 파rameter 수가 더 많지만(26.53M vs. 0.629M) 계산 복잡도가 낮아(3306.69 GFLOPS vs. 12869.79 GFLOPS) 성능 대비 효율성이 뛰어나다.
• 시각적 결과에서는 CameraNet가 노이즈를 효과적으로 줄이고 구조를 유지하는 반면, DeepISP-Net은 노이즈를 증폭시키고 특히 새로운 카메라 모델에서 색상 편향을 유발하는 것으로 나타났다.