[논문 리뷰] Learning to Correct Overexposed and Underexposed Photos

Mahmoud Afifi, Konstantinos G. Derpanis외 2명|arXiv (Cornell University)|2020. 03. 25.

Image Enhancement Techniques참고 문헌 43인용 수 8

한 줄 요약

이 논문은 노출 오류가 발생한 사진을 보정하기 위해 색상과 세부 정보 향상을 동시에 수행하는 코arse-to-fine 딥 네트워크(DNN)를 제안한다. 새로운 24,000장의 노출 손상 이미지로 끝에서 끝까지 훈련된 이 방법은 과노출 이미지에 대해 최신 기술 수준의 성능을 달성했으며, 과노출 이미지에 대해서도 상당한 향상을 이룩했다.

ABSTRACT

Capturing photographs with wrong exposures remains a major source of errors in camera-based imaging. Exposure problems are categorized as either: (i) overexposed, where the camera exposure was too long, resulting in bright and washed-out image regions, or (ii) underexposed, where the exposure was too short, resulting in dark regions. Both under- and overexposure greatly reduce the contrast and visual appeal of an image. Prior work mainly focuses on underexposed images or general image enhancement. In contrast, our proposed method targets both over- and underexposure errors in photographs. We formulate the exposure correction problem as two main sub-problems: (i) color enhancement and (ii) detail enhancement. Accordingly, we propose a coarse-to-fine deep neural network (DNN) model, trainable in an end-to-end manner, that addresses each sub-problem separately. A key aspect of our solution is a new dataset of over 24,000 images exhibiting a range of exposure values with a corresponding properly exposed image. Our method achieves results on par with existing state-of-the-art methods on underexposed images and yields significant improvements for images suffering from overexposure errors.

연구 동기 및 목표

• 카메라 기반 영상에서 지속적으로 발생하는 노출 오류 문제를 해결함으로써 이미지의 대비와 시각적 품질을 향상시키기 위해.
• 이전 방법들이 주로 과소노출 이미지나 일반적인 향상에 집중한 점을 고려해, 과노출과 과소노출을 동시에 전문화하여 해결하기 위해.
• 색상 및 세부 정보 향상을 동시에 수행할 수 있는 통합된 딥 러닝 프레임워크를 개발하여 끝에서 끝까지 훈련이 가능하도록 하기 위해.
• 훈련 및 평가를 지원하기 위해 24,000장의 이미지 쌍(노출 손상된 이미지와 해당하는 적절한 노출 기준 이미지)으로 구성된 대규모 데이터셋을 구축하고 공개하기 위해.

제안 방법

• 노출 보정을 색상 향상과 세부 정보 복구라는 두 가지 별개의 하위 문제로 설정하고, 이들을 코어스-투-파인 DNN 아키텍처를 통해 처리한다.
• 노출 왜곡이 발생한 이미지에서 색상 보정과 세부 정보 복구를 동시에 최적화하기 위해 끝에서 끝까지 훈련된 딥 네트워크를 설계한다.
• 각 쌍이 손상된 노출 이미지와 해당하는 적절한 노출 기준 이미지를 포함하는 24,000장 이상의 새로운 데이터셋을 활용한다.
• 거시적 예측을 점진적으로 정밀하게 다듬는 다단계 정밀화 과정을 적용하여 색상의 정확성과 세밀한 이미지 세부 정보를 모두 복원한다.
• 자연스러운 외관과 구조적 무결성을 유지하기 위해 인지적 손실과 재구성 손실을 조합한 손실 함수를 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합 프레임워크를 사용해 딥 러닝 모델이 과노출 및 과소노출 이미지를 효과적으로 보정할 수 있는가?
• RQ2 색상 및 세부 정보 향상을 함께 최적화할 경우, 별도로 처리하는 것과 비교해 성능 향상이 얼마나 이루어지는가?
• RQ3 노출 손상된 이미지와 적절한 노출 이미지 쌍으로 구성된 대규모이고 다양한 데이터셋이 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 코어스-투-파인 아키텍처가 과노출 및 과소노출 보정 모두에서 기존 최신 기술 수준(SOTA) 방법을 능가하는가?

주요 결과

• 제안된 방법은 과소노출 이미지에 대해 최신 기술 수준의 방법과 동등한 성능을 달성하여 이 문제 유형에 대한 효과성을 입증했다.
• 과노출 이미지에 대해서는 기존 방법들이 성능을 낮추는 영역임에도 불구하고, 제안된 방법이 상당한 향상을 이룩했다.
• 24,000장의 이미지 쌍을 포함한 대규모 데이터셋의 활용 덕분에 모델이 다양한 노출 조건과 이미지 콘텐츠에 일반화할 수 있게 되었다.
• 코어스-투-파인 DNN 아키텍처의 끝에서 끝까지 훈련이 가능해져 색상과 세밀한 세부 정보의 복원 능력이 향상되고 더 정확한 특징 학습이 가능했다.