[논문 리뷰] DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks

Andrey Ignatov, Nikolay Kobyshev외 3명|arXiv (Cornell University)|2017. 01. 01.

Advanced Image Processing Techniques참고 문헌 25인용 수 16

한 줄 요약

이 논문은 스마트폰과 디지털 SLR 간에 동기화된 이미지로 구성된 대규모 데이터셋(DPED)을 기반으로 훈련된 잔차 합성곱 신경망을 사용하여 스마트폰 사진을 DSLR 수준으로 향상시키는 엔드 투 엔드 딥러닝 방법을 제안한다. 콘텐츠, 색상, 적대적으로 학습된 질감 손실을 조합함으로써, 사용자 연구에서 DSLR 이미지와 구분이 불가능한 시각적으로 우수한 결과를 달성한다.

ABSTRACT

Despite a rapid rise in the quality of built-in smartphone cameras, their physical limitations - small sensor size, compact lenses and the lack of specific hardware, - impede them to achieve the quality results of DSLR cameras. In this work we present an end-to-end deep learning approach that bridges this gap by translating ordinary photos into DSLR-quality images. We propose learning the translation function using a residual convolutional neural network that improves both color rendition and image sharpness. Since the standard mean squared loss is not well suited for measuring perceptual image quality, we introduce a composite perceptual error function that combines content, color and texture losses. The first two losses are defined analytically, while the texture loss is learned in an adversarial fashion. We also present DPED, a large-scale dataset that consists of real photos captured from three different phones and one high-end reflex camera. Our quantitative and qualitative assessments reveal that the enhanced image quality is comparable to that of DSLR-taken photos, while the methodology is generalized to any type of digital camera.

연구 동기 및 목표

• 딥러닝을 통해 스마트폰 카메라와 DSLR 카메라 간의 시각적 품질 격차를 해소하기 위해.
• 수작업으로 설계된 특징에 의존하지 않고 선명도, 색상 재현, 질감 향상을 향상시키는 엔드 투 엔드 이미지 향상 모델을 개발하기 위해.
• 훈련 및 평가를 위해 다양한 카메라에서 촬영한 동기화된 이미지로 구성된 대규모 실세계 데이터셋(DPED)을 구축하기 위해.
• 다양한 모바일 카메라 유형에 걸쳐 향상 방법의 일반화를 가능하게 하기 위해.

제안 방법

• 저품질의 모바일 사진에서 DSLR 수준의 이미지로의 매핑을 학습하기 위해 잔차 U-Net 유사 합성곱 신경망을 훈련시켰다.
• 분석적 콘텐츠 손실, 색상 손실, 적대적으로 학습된 질감 손실을 조합한 복합 시각적 손실 함수를 설계했다.
• 다중 층에서 콘텐츠 및 색상 손실을 계산하기 위해 VGG 기반의 특징 추출기를 사용하여 더 높은 시각적 정밀도를 확보했다.
• 동기화된 스마트폰 및 DSLR 카메라에서 촬영한 쌍체 이미지를 사용하여 모델을 엔드 투 엔드로 훈련시켰다.
• 두 단계 훈련 전략을 적용: 먼저 MSE 손실로 사전 훈련한 후, 복합 시각적 손실로 미세조정했다.
• 적대적 방식으로 실제 고주파 질감 세부 정보를 학습하기 위해 판별망 네트워크를 사용했다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 스마트폰 사진을 DSLR 이미지 수준의 시각적 품질로 효과적으로 향상시킬 수 있는가?
• RQ2 이미지 간 변환 작업을 위한 딥러닝 프레임워크 내에서 시각적 이미지 품질을 효과적으로 측정하고 최적화할 수 있는가?
• RQ3 동일한 모델이 품질 특성이 서로 다른 다양한 스마트폰 카메라에 대해 얼마나 잘 일반화되는가?
• RQ4 콘텐츠, 색상, 질감 구성 요소를 조합한 복합 손실 함수가 사진 향상에 있어 표준 MSE 기반 훈련을 능가할 수 있는가?

주요 결과

• 사용자 연구를 통해 제안된 방법이 DSLR 이미지와 동등한 시각적 품질을 달성했음을 확인했으며, 참가자들이 향상된 이미지와 DSLR 원본을 신뢰성 있게 구분하지 못했다.
• 사용자 연구에서 향상된 이미지가 원본 스마트폰 사진보다 85~95%의 쌍 비교에서 선호되었으며, DSLR 이미지만큼 자주 선택되었다.
• 비교된 모든 방법들 중에서 가장 높은 SSIM 점수를 기록하여 기준 DSLR 이미지와 강한 구조적 유사성을 보였다.
• 사용자 선호도 연구에서 수작업 보정 및 APE 기준선을 모두 능가했으며, 60%의 사용자가 전문가가 보정한 이미지보다 우리 향상 이미지를 선택했다.
• 저가형 기기인 아이폰 3GS를 포함한 다양한 모바일 카메라에 대해 일반화 능력을 입증했다.
• 개선에도 불구하고, 특히 저품질 입력 이미지에서 색상 이탈, 과도하게 증폭된 노이즈, 대trast 과도 강조 등의 아티팩트가 관찰되었다.