[논문 리뷰] Camera Lens Super-Resolution

Chang Chen, Zhiwei Xiong외 3명|arXiv (Cornell University)|2019. 04. 06.

Advanced Image Processing Techniques참고 문헌 34인용 수 9

한 줄 요약

이 논문은 실제 카메라 렌즈의 해상도-시야각(R-V) 상충 관계를 실제 저해상도 및 고해상도 이미지 쌍을 사용하여 모델링하는 CameraSR라는 초해상도 방법을 제안한다. 제어된 DSLR 및 스마트폰 촬영을 통해 확보한 City100 데이터셋을 기반으로 훈련함으로써, bicubic 다운샘플링과 같은 합성 열화 모델에 비해 유의미하게 뛰어난 재구성 정확도와 시각적 품질을 달성하며, 콘텐츠 및 기기 간 일반화 능력을 확보하여 고급 디지털 줌 도구로 활용 가능하다.

ABSTRACT

Existing methods for single image super-resolution (SR) are typically evaluated with synthetic degradation models such as bicubic or Gaussian downsampling. In this paper, we investigate SR from the perspective of camera lenses, named as CameraSR, which aims to alleviate the intrinsic tradeoff between resolution (R) and field-of-view (V) in realistic imaging systems. Specifically, we view the R-V degradation as a latent model in the SR process and learn to reverse it with realistic low- and high-resolution image pairs. To obtain the paired images, we propose two novel data acquisition strategies for two representative imaging systems (i.e., DSLR and smartphone cameras), respectively. Based on the obtained City100 dataset, we quantitatively analyze the performance of commonly-used synthetic degradation models, and demonstrate the superiority of CameraSR as a practical solution to boost the performance of existing SR methods. Moreover, CameraSR can be readily generalized to different content and devices, which serves as an advanced digital zoom tool in realistic imaging systems. Codes and datasets are available at https://github.com/ngchc/CameraSR.

연구 동기 및 목표

• 합성 열화 모델과의 불일치로 인해 기존 초해상도 방법이 실세계 이미징 시스템에 적용될 때 성능 저하가 발생하는 문제를 해결하기 위해.
• 카메라 렌즈 내재의 해상도-시야각(R-V) 상충 관계를 실질적인 열화 모델로 삼아 초해상도에 활용하고자 하며.
• 실제 데이터로부터의 R-V 열화를 학습함으로써 실 이미징 시스템에서 해상도 향상을 위한 실용적 해결책을 개발하고자 하며.
• CameraSR가 다양한 콘텐츠와 기기 간에 잘 일반화되어 고급 디지털 줌 기능을 가능하게 함을 입증하고자 하며.
• 일반적인 합성 열화 모델(예: bicubic)이 실제 렌즈 기반 열화를 모델링하는 데 부적절함을 검증하고자 한다.

제안 방법

• DSLR에 줌 렌즈를 장착하고 tripod에 고정하여 다양한 초점 거리에서 100개의 도시 풍경을 촬영하는 데이터 수집 전략과, 이동 스테이지에 장착된 스마트폰을 사용하여 시야각 변화를 시뮬레이션하는 두 가지 새로운 데이터 수집 전략을 제안한다.
• 수집된 저해상도-고해상도 쌍에서 공간적 비일치, 밝기 변화, 색상 불일치를 보정하기 위해 종합적인 데이터 정규화 파이프라인을 적용한다.
• DSLR 및 스마트폰 시스템에서 유도된 100개의 정렬된 저해상도-고해상도 이미지 쌍을 포함하는 City100 데이터셋을 구축하여 실제 R-V 열화를 모델링한다.
• bicubic 다운샘플링과 같은 합성 모델 대신 학습된 R-V 열화 모델을 사용하여 VDSR, SRGAN 등의 초해상도 네트워크를 City100에서 훈련시킨다.
• 학습된 R-V 열화 커널을 활용해 실제 광학 시스템에서 발생하는 해상도 손실을 역으로 복구함으로써 물리적 렌즈 한계를 초월한 향상된 디지털 줌을 가능하게 한다.
• 한 기기(예: iPhone X)에서 훈련된 모델을 다른 기기(예: Huawei P20, Samsung S9)와 다양한 장면 콘텐츠에 적용하여 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 실제 카메라 렌즈의 R-V 열화가 bicubic 다운샘플링과 같은 합성 열화 모델과 비교할 때 정보 손실 측면에서 어떻게 다를까?
• RQ2 DSLR 및 스마트폰 카메라에서 확보한 실제 저해상도-고해상도 쌍을 기반으로 학습된 학습 기반 초해상도 방법이 합성 열화 모델 기반 방법보다 성능이 뛰어나게 되는가?
• RQ3 DSLR 및 스마트폰에서 한 기기에서 훈련된 CameraSR 모델이 다른 기기와 다양한 장면 콘텐츠로 일반화되는 정도는 어느 정도인가?
• RQ4 CameraSR는 실제 광학 시스템의 해상도-시야각 상충 관계를 효과적으로 완화하여 물리적 렌즈의 줌 비율을 초월한 향상된 디지털 줌을 가능하게 할 수 있는가?
• RQ5 실제 R-V 열화 모델링을 사용할 경우 합성 모델 대비 초해상도 성능에 미치는 정량적 영향은 어떠한가?

주요 결과

• 동일한 고해상도 이미지에서 R-V 열화로 인한 정보 손실는 bicubic 다운샘플링에 비해 뚜렷하게 크며, PSNR가 28.56 dB(비쿠빅)에서 27.22 dB(R-V)로 감소함으로써 이를 입증한다.
• City100 데이터셋에서 훈련된 CameraSR는 합성 열화 모델 기반으로 훈련된 모델에 비해 실세계 저해상도 이미지에서 유의미하게 뛰어난 재구성 정확도와 시각적 품질을 확보한다.
• DSLR 및 스마트폰 이미지에서의 시각적 비교를 통해 CameraSR를 사용한 초해상도 결과는 bicubic 또는 가우시안 초해상도에 비해 세부 사항 복구가 뚜렷하게 향상됨을 보여준다.
• CameraSR는 외부 풍경, 다양한 주제를 포함한 새로운 콘텐츠와 iPhone X에서 Huawei P20, Samsung S9에 이르기까지 다양한 기기 간에 효과적으로 일반화되며 높은 성능을 유지한다.
• CameraSR는 실제 광학 렌즈의 물리적 줌 비율을 초월한 해상도 향상을 가능하게 하여 고급 디지털 줌을 실현한다.
• VDSR 및 SRGAN을 포함한 다양한 네트워크 아키텍처에서 CameraSR의 성능 향상이 일관되게 유지됨을 확인하여 그 강건성과 이식 가능성(transferability)을 입증한다.