[논문 리뷰] Towards Real Scene Super-Resolution with Raw Images

Xiangyu Xu, Yongrui Ma외 1명|arXiv (Cornell University)|2019. 05. 29.

Advanced Image Processing Techniques참고 문헌 32인용 수 6

한 줄 요약

이 논문은 실제 촬영 이미지에서 성능을 향상시키기 위해 원시 이미지 데이터와 현실적인 데이터 생성 파이프라인을 활용하는 새로운 초해상도 프레임워크를 제안한다. 카메라 이미징 과정을 시뮬레이션하고, 원시 조도 정보를 활용하며, 공간적으로 변하는 색상 보정을 학습하는 이중 컨볼루션 신경망을 사용함으로써, 이전 방법들에 비해 실제 촬영 이미지에서 더 뛰어난 세부 정보 복구와 색상 정확도를 달성한다.

ABSTRACT

Most existing super-resolution methods do not perform well in real scenarios due to lack of realistic training data and information loss of the model input. To solve the first problem, we propose a new pipeline to generate realistic training data by simulating the imaging process of digital cameras. And to remedy the information loss of the input, we develop a dual convolutional neural network to exploit the originally captured radiance information in raw images. In addition, we propose to learn a spatially-variant color transformation which helps more effective color corrections. Extensive experiments demonstrate that super-resolution with raw data helps recover fine details and clear structures, and more importantly, the proposed network and data generation pipeline achieve superior results for single image super-resolution in real scenarios.

연구 동기 및 목표

• 기존 초해상도 방법들이 실제 촬영 이미지에서 성능이 떨어지는 이유는 허구적인 훈련 데이터와 처리된 입력에서의 정보 손실 때문이므로 이를 해결하고자 한다.
• 변동하는 블러 커널과 선형 원시 공간 내 이방성 노이즈를 포함한 전체 카메라 이미징 파이프라인을 시뮬레이션하여 더 현실적인 저해상도 훈련 데이터를 생성하고자 한다.
• 원시 이미지의 더 넓은 다이내믹 레인지와 선형 조도 정보를 활용하여 더 미세한 세부 구조와 명확한 구조를 복원하고자 한다.
• 기본 색상 보정을 사용하는 것과 달리, 기준 색상 이미지를 사용하여 공간적으로 변하는 색상 변환을 학습함으로써 다양한 카메라 간에 일반화 가능한 모델을 개발하고자 한다.
• 카메라별 맞춤 훈련 없이도 실제 세계 이미지에서 효과적인 초해상도를 구현하고자 한다.

제안 방법

• 전체 디지털 카메라 이미징 과정을 시뮬레이션하는 데이터 생성 파이프라인을 제안하며, 선형 원시 데이터에 변동하는 블러 커널과 이방성 가우시안 노이즈를 적용하여 현실적인 저해상도 훈련 샘플을 생성한다.
• 이중 브랜치 컨볼루션 신경망을 제안한다: 한 브랜치는 원시 입력에서 고해상도 선형 측정값을 복원하고, 다른 브랜치는 기준 저해상도 색상 이미지를 사용하여 공간적으로 변하는 색상 보정을 추정한다.
• 이미지 복원을 위해 인코더-디코더 아키텍처 내에서 밀집 연결 컨볼루션 레이어를 사용하여 다중 척도 특징을 캡처한다.
• 색상 보정 브랜치는 픽셀 단위의 변환 행렬을 학습하여 전역 변환 아티팩트를 방지하고 더 나은 색상 정확도를 달성한다.
• 두 브랜치 간의 특징 융합은 원시 데이터로부터의 구조적 세부 정보와 기준 이미지로부터의 색상 정확도를 조합함으로써 정확하고 아티팩트 없는 결과 예측 능력을 향상시킨다.
• 모델은 제안된 파이프라인으로 생성된 합성 데이터에서 엔드 투 엔드로 훈련되고, 미리 보지 못한 카메라의 실제 촬영 이미지에서 평가된다.

실험 결과

연구 질문

• RQ1 카메라 이미징 과정을 시뮬레이션하여 생성된 현실적인 훈련 데이터가 실제 촬영 이미지에서 초해상도 성능을 향상시키는가?
• RQ2 초해상도에서 원시 조도 정보를 활용하면 처리된 RGB 이미지 사용 대비 더 나은 세부 정보 복구가 가능한가?
• RQ3 원시 이미지와 기준 색상 이미지를 동시에 사용하는 이중 CNN 아키텍처가 다양한 카메라 모델과 ISP 파이프라인에 일반화 가능한가?
• RQ4 전역 색상 보정 대비 공간적으로 변하는 색상 보정이 색상 아티팩트를 얼마나 효과적으로 줄이는가?
• RQ5 제안된 방법이 카메라별 적응 없이도 실제 세계 이미지에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 데이터 생성 파이프라인은 RDN과 같은 기존 초해상도 모델을 그 파이프라인의 합성 데이터로 재훈련했을 때 실제 이미지에서 더 선명한 결과를 내는 등, 기존 모델의 성능을 크게 향상시킨다.
• 원시 데이터를 사용함으로써 표준 RGB 기반 초해상도에서 손실되는 더 미세한 세부 구조와 명확한 구조를 복원할 수 있으며, 실제 촬영 이미지에서의 정성적 비교를 통해 이를 확인할 수 있다.
• 공간적으로 변하는 색상 보정을 갖춘 이중 CNN 아키텍처는 전역 색상 보정을 사용하는 모델나 오직 원시 입력만 사용하는 모델에 비해 더 높은 색상 정확도와 더 적은 아티팩트를 생성한다.
• 절단 실험 결과, 원시 입력, 색상 보정 브랜치, 또는 특징 융합을 제거할 경우 세부 정보 복구와 색상 정확도가 심각하게 악화됨을 확인할 수 있다.
• 모델은 Dcraw와 수작업으로 보정한 MIT-Adobe 5K 이미지 등 다양한 출처의 데이터에서 훈련된 경우에도 캐논, 소니, 니콘, 라이카 등 다양한 카메라와 ISP 시스템에 잘 일반화된다.
• 미리 보지 못한 카메라의 실제 이미지에서 제안된 방법은 전통적인 데이터로 훈련된 베이스라인에 비해 더 뛰어난 시각적 품질을 달성하며, 더 선명한 윤곽선과 더 정확한 색상 재현을 제공한다.