[논문 리뷰] Exploiting Raw Images for Real-Scene Super-Resolution

Xiangyu Xu, Yongrui Ma외 2명|arXiv (Cornell University)|2021. 02. 02.

Advanced Image Processing Techniques참고 문헌 73인용 수 4

한 줄 요약

이 논문은 원시 이미지 데이터와 현실적으로 구현된 카메라 열화를 활용하여 실경 단일 이미지 초해상도를 달성하기 위해 이중 분지 컨볼루션 신경망을 제안한다. 다양한 블러 커널과 이방성 가우시안 노이즈를 포함한 실제 영상 처리 과정을 모의한 훈련 데이터를 생성하고 선형 원시 데이터를 활용하여 세부 사항 복구를 향상시킴으로써, 카메라별 미세조정 없이도 실수로 촬영한 이미지에서 우수한 PSNR(30.27)와 SSIM(0.7871) 성능을 달성한다.

ABSTRACT

Super-resolution is a fundamental problem in computer vision which aims to overcome the spatial limitation of camera sensors. While significant progress has been made in single image super-resolution, most algorithms only perform well on synthetic data, which limits their applications in real scenarios. In this paper, we study the problem of real-scene single image super-resolution to bridge the gap between synthetic data and real captured images. We focus on two issues of existing super-resolution algorithms: lack of realistic training data and insufficient utilization of visual information obtained from cameras. To address the first issue, we propose a method to generate more realistic training data by mimicking the imaging process of digital cameras. For the second issue, we develop a two-branch convolutional neural network to exploit the radiance information originally-recorded in raw images. In addition, we propose a dense channel-attention block for better image restoration as well as a learning-based guided filter network for effective color correction. Our model is able to generalize to different cameras without deliberately training on images from specific camera types. Extensive experiments demonstrate that the proposed algorithm can recover fine details and clear structures, and achieve high-quality results for single image super-resolution in real scenes.

연구 동기 및 목표

• 단일 이미지 초해상도에서 합성 훈련 데이터와 실수로 촬영한 이미지 간의 도메인 갭을 해소하기 위해.
• 기존 방법들이 원시 이미지 데이터의 조명 정보를 忽시하고 단순화된 데이터 생성 파이프라인을 사용한다는 한계를 해결하기 위해.
• 재학습 없이 다양한 카메라 유형과 ISP 파이프라인에서 잘 작동하는 일반화 가능한 초해상도 모델을 개발하기 위해.
• 고비트 디pth 선형 원시 데이터를 활용하고 훈련 중에 현실적인 이미지 열화를 모델링하여 영상 복원 품질을 향상시키기 위해.
• 학습 기반 가이드 필터와 밀집 채널 주의 블록을 활용하여 실세계 초해상도에서 효과적인 색상 보정과 구조 보존을 실현하기 위해.

제안 방법

• 선형 원시 데이터에 변수 블러 커널과 이방성 가우시안 노이즈를 적용하여 실제 카메라 영상 처리를 모의하는 데이터 생성 파이프라인으로, 비선형 색상 이미지가 아닌 선형 원시 데이터를 대상으로 한다.
• 이중 분지 CNN 아키텍처: 한 분지는 원시 데이터를 처리하여 고해상도 선형 측정값을 복원하고, 다른 분지는 처리된 RGB 이미지를 사용하여 색상 일관성을 개선한다.
• 중요한 특징을 강화하고 노이즈를 억제하기 위해 특징 맵을 적응적으로 재조정하는 밀집 채널 주의 블록.
• 색상 이동을 보정하면서도 구조적 세부 정보를 유지하는 효과적인 색상 보정을 위한 학습 기반 가이드 필터 네트워크.
• 재구성된 이미지에 대해 L1 손실을 적용하고, 시각적 품질 향상을 위해 인지적 손실을 사용하지만, GAN 기반 손실은 아티팩트를 유발하여 사용하지 않음.
• 실제 열화를 반영한 합성 데이터로 훈련하고, 미세조정 없이도 새로운 카메라와 ISP 파이프라인으로 일반화됨.

실험 결과

연구 질문

• RQ1 변수 블러와 이방성 노이즈를 포함한 현실적인 이미지 열화 모델링이 합성 훈련 데이터와 실수로 촬영한 이미지 간의 일반화 성능 향상에 기여하는가?
• RQ2 고비트 디스플레이 및 선형 조명 정보를 포함한 원시 이미지 데이터를 활용할 경우, 처리된 RGB 이미지보다 더 나은 초해상도 성능을 달성하는가?
• RQ3 이중 분지 네트워크 아키텍처가 원시 데이터 복원과 색상 보정을 효과적으로 융합하여 구조적 정확성과 색상 정확성을 모두 향상시키는가?
• RQ4 제안된 방법이 재학습 없이 다양한 카메라 모델과 ISP 파이프라인에 대해 얼마나 잘 일반화되는가?
• RQ5 적대적 훈련이 실경 초해상도에서 시각적 품질에 미치는 영향과 아티팩트 생성 간의 영향은 어떠한가?

주요 결과

• 제안된 방법은 실수로 촬영한 이미지에서 PSNR 30.27과 SSIM 0.7871을 달성하여 기존 최신 기술인 RDN(29.08 PSNR, 0.7570 SSIM)을 크게 능가한다.
• 저자들이 제안한 현실적인 데이터 생성 파이프라인으로 기존 RDN 모델을 재학습하면 PSNR가 29.08에서 30.05로 향상되며, 이는 데이터 생성 방법의 효과성을 입증한다.
• 모델은 원래 ISP에 대한 지식 없이도 새로운 카메라와 다양한 ISP 파이프라인(예: HDR 처리 및 인간 수동 보정 이미지 포함)으로 잘 일반화된다.
• 원시 데이터와 선형 열화 모델링을 활용함으로써 처리된 RGB 이미지 기반 방법보다 더 선명한 구조와 더 세밀한 세부 사항을 확보한다.
• 이중 분지 아키텍처임에도 불구하고, 800×600 이미지당 0.647초의 경쟁적인 추론 시간을 유지하여 다른 최신 기술 네트워크와 유사한 성능을 발휘한다.
• GAN 손실을 사용한 적대적 훈련은 더 선명한 시각적 결과를 낳지만 눈에 띄는 아티팩트가 발생하여 최종 모델에서는 사용하지 않음.