[논문 리뷰] AIM 2020 Challenge on Learned Image Signal Processing Pipeline

Andrey Ignatov, Radu Timofte외 37명|arXiv (Cornell University)|2020. 11. 10.

Image and Signal Denoising Methods참고 문헌 41인용 수 16

한 줄 요약

이 논문은 화웨이 P20 스마트폰에서 촬영한 저품질 RAW 이미지를 캐논 5D DSLR와 유사한 고품질 RGB 이미지로 변환하는 데 중점을 두고, 학습된 이미지 신호 처리(ISP)에 관한 AIM 2020 챌린지를 제시한다. 챌린지는 48,043개의 정렬된 RAW-RGB 패치로 구성된 대규모 ZRR 데이터셋을 사용하였으며, RRGNet, 멀티스케일 U-Net, PWCD 등의 다양한 아키텍처를 활용하여 복합 손실 함수와 자기 앙상블 추론을 통해 최신 기술 수준(SOTA)의 성능을 달성하였다.

ABSTRACT

This paper reviews the second AIM learned ISP challenge and provides the description of the proposed solutions and results. The participating teams were solving a real-world RAW-to-RGB mapping problem, where to goal was to map the original low-quality RAW images captured by the Huawei P20 device to the same photos obtained with the Canon 5D DSLR camera. The considered task embraced a number of complex computer vision subtasks, such as image demosaicing, denoising, white balancing, color and contrast correction, demoireing, etc. The target metric used in this challenge combined fidelity scores (PSNR and SSIM) with solutions' perceptual results measured in a user study. The proposed solutions significantly improved the baseline results, defining the state-of-the-art for practical image signal processing pipeline modeling.

연구 동기 및 목표

• 모바일 센서에서 촬영한 저품질 RAW 이미지를 전문가용 DSLR 출력 수준의 고품질 RGB 이미지로 변환하는 엔드 투 엔드 딥러닝 모델을 개발하기 위해.
• 단일 파ip라인 내에서 디모사이징, 노이즈 제거, 화이트 밸런싱, 색상 보정, 대trast 강화 등의 포괄적인 이미지 복원 작업을 동시에 해결하기 위해.
• 정량적 지표(PSNR, SSIM)와 사용자 연구를 통한 주관적 품질 평가를 병행하여 실제 환경에서의 이미지 품질 기대치를 반영한 방법 평가를 위해.
• 대규모 실세계 데이터셋을 활용하여 실용적인 실세계 이미지 신호 처리 파이프라인 모델링을 위한 새로운 최신 기술 수준을 수립하기 위해.
• 다양한 고급 신경망 아키텍처와 학습 전략을 활용하여 향후 학습된 ISP 분야의 연구를 위한 표준화된 벤치마크를 제공하기 위해.

제안 방법

• 챌린지는 화웨이 P20(_RAW_)와 캐논 5D 마크 IV(_RGB_)에서 촬영한 20,000개의 쌍으로 구성된 대규모 취리히 RAW에서 RGB로의(ZRR) 데이터셋을 사용하였으며, 학습 및 검증에 48,043개의 정렬된 448×448 패치를 활용하였다.
• 이미지는 SIFT와 RANSAC를 통한 정렬 및 상호상관관계를 활용한 정밀 보정을 통해 겹치지 않는 패치로 전처리되었으며, 서브픽셀 정확도를 확보하였다.
• RAW 패치는 베이어 필터 패턴(RGGB)을 반영하기 위해 224×224×4 텐서로 재구성되어 센서 수준의 정보를 유지하였다.
• RRGNet의 잔차 및 주목적 블록, 멀티스케일 U-Net의 색상 및 VGG 기반 손실, LAB 색상 공간 내의 PWCD 등 다양한 딥러닝 아키텍처가 활용되었다.
• 모델은 MSE, VGG 기반 주관적 손실, SSIM을 조합한 하이브리드 손실 함수를 사용하여 학습되었으며, 트랙 및 학습 수준에 따라 적응형 가중치가 적용되었다.
• 예측의 안정성과 최종 출력 품질 향상을 위해 다수의 모델 변종에 대한 자기 앙상블 추론 전략이 적용되었다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 저품질 모바일 RAW 이미지에서 전문가용 DSLR 수준의 RGB 출력으로 가는 복잡한 엔드 투 엔드 매핑을 효과적으로 학습할 수 있는가?
• RQ2 U-Net, RRGNet, 주목적 기반 네트워크 등의 다양한 신경망 아키텍처는 디모사이징, 노이즈 제거, 색상 보정 등의 다면적 과제를 다룰 때 어떻게 비교되는가?
• RQ3 MSE, 주관적 손실, SSIM을 조합한 복합 손실 함수는 실세계 ISP 파이프라인에서 정량적 및 주관적 이미지 품질을 얼마나 향상시키는가?
• RQ4 자기 앙상블 추론은 실세계 데이터에 대한 학습된 ISP 모델의 안정성과 성능을 어떻게 향상시키는가?
• RQ5 데이터 품질과 정렬 정확도는 학습된 ISP 모델의 성능에 어떤 영향을 미치며, 잘못 정렬되거나 손상된 데이터는 어떻게 보완할 수 있는가?

주요 결과

• 최고 성능을 보인 모델은 테스트 세트에서 PSNR 31.8 dB, SSIM 0.938을 기록하여 기준 모델을 크게 능가하고, RAW-to-RGB 매핑 분야에서 새로운 최신 기술 수준을 수립하였다.
• 주목적 메커니즘(예: STAIR, Skyb)과 다중 스케일 특징(예: SenseBrainer)을 활용한 모델들이 세밀한 디테일과 색상 정확도를 더욱 효과적으로 유지하는 데 뛰어난 성능을 보였다.
• VGG 기반 주관적 손실과 SSIM을 MSE와 조합함으로써 사용자 연구 점수가 크게 향상되어 더 나은 주관적 품질을 나타내었다.
• 자기 앙상블 전략은 모든 팀에서 일관되게 성능 향상을 이끌어내어, 예측 분산 감소 및 안정성 향상에 효과적임을 입증하였다.
• 잘못 정렬되거나 손상된 이미지를 학습 세트에서 제거한 팀들(예: SenseBrainer)은 더 안정적인 학습과 더 나은 일반화 능력을 보고 보고하였다.
• LAB 색상 공간 내의 픽셀 단위 색상 거리(PWCD) 모델은 직접적으로 주관적으로 의미 있는 색상 차이를 최소화함으로써 RGB 기반 기준 모델을 능가하는 색상 정확도를 달성하였다.