[논문 리뷰] Dual Illumination Estimation for Robust Exposure Correction

Qing Zhang, Yongwei Nie외 1명|arXiv (Cornell University)|2019. 10. 30.

Image Enhancement Techniques참고 문헌 39인용 수 8

한 줄 요약

이 논문은 다양한 조명 조건에서 강건하고 자동적인 노출 보정을 위한 이중 조명 추정 방법을 제안한다. 이는 과노출, 과소노출 및 혼합 노출 이미지를 모두 처리할 수 있다. 입력 이미지와 그 역상 이미지 양쪽에서 조명을 추정함으로써, 과소노출 영역을 수정하는 하나, 과노출 영역을 복원하는 다른 하나의 중간 보정 결과를 생성한 후, 다중 노출 융합 기법을 통해 이를 융합하여 전반적으로 잘 노출되고 자연스러운 결과를 도출한다. 이는 기존의 최고 수준(SOTA) 방법들보다 뛰어난 시각적 품질과 사용자 선호도를 확보한다.

ABSTRACT

Exposure correction is one of the fundamental tasks in image processing and computational photography. While various methods have been proposed, they either fail to produce visually pleasing results, or only work well for limited types of image (e.g., underexposed images). In this paper, we present a novel automatic exposure correction method, which is able to robustly produce high-quality results for images of various exposure conditions (e.g., underexposed, overexposed, and partially under- and over-exposed). At the core of our approach is the proposed dual illumination estimation, where we separately cast the under- and over-exposure correction as trivial illumination estimation of the input image and the inverted input image. By performing dual illumination estimation, we obtain two intermediate exposure correction results for the input image, with one fixes the underexposed regions and the other one restores the overexposed regions. A multi-exposure image fusion technique is then employed to adaptively blend the visually best exposed parts in the two intermediate exposure correction images and the input image into a globally well-exposed image. Experiments on a number of challenging images demonstrate the effectiveness of the proposed approach and its superiority over the state-of-the-art methods and popular automatic exposure correction tools.

연구 동기 및 목표

• 복잡한 노출 조건(과소노출, 과노출, 혼합 영역 포함)을 가진 이미지에서 자동 노출 보정의 과제를 해결하기 위해.
• 기존 방법들이 과소노출 또는 과노출 보정에 한정되거나 자연스럽지 않은 결과를 내는 한계를 극복하기 위해.
• 최고 수준의 방법들과 상용 도구보다 시각적 품질과 사용자 선호도에서 뛰어난, 완전 자동화되고 효율적이며 강건한 노출 보정 프레임워크를 개발하기 위해.
• 다양한 소스(입력 이미지와 두 개의 보정된 이미지)에서 국소적으로 최적의 노출 영역을 안정적으로 융합하여 전역적으로 잘 노출된 출력 결과를 생성하기 위해.

제안 방법

• 이중 조명 추정 기법 제안: 입력 이미지에서 정방향 조명을 추정하고, 역상 입력 이미지에서 역방향 조명을 추정하여 각각 과소노출과 과노출 문제를 해결한다.
• 두 개의 중간 노출 보정 이미지 복구: 정방향 조명을 통해 과소노출 영역을 보정하는 하나, 역상 이미지에서의 역방향 조명을 통해 과노출 영역을 복원하는 다른 하나.
• 다중 노출 이미지 융합 기법을 적용하여 입력 이미지와 두 개의 중간 결과를 융합하고, 각 소스에서 가장 잘 노출된 국소 영역을 선택한다.
• 노출 품질과 국소 대비를 기반으로 시각적으로 매력적인 부분을 적응적으로 융합하는 융합 전략을 사용한다.
• 과노출 보정 문제를 역상 이미지에서의 과소노출 보정 문제로 재정의함으로써, 두 노출 문제를 대칭적으로 다룰 수 있는 통찰을 활용한다.
• 완전 자동화와 근접 인터랙티브 런타임(평균 0.8초)을 확보하여 실생활 적용에 실용적이다.

실험 결과

연구 질문

• RQ1 입력 이미지를 역상 처리하고 이를 과소노출로 간주함으로써 과노출 영역의 보정에 효과적으로 조명 추정을 확장할 수 있는가?
• RQ2 이중 조명 추정 기법이 과소노출 및 과노출 영역이 혼합된 다양한 노출 조건에서도 노출 보정의 강건성을 어떻게 향상시킬 수 있는가?
• RQ3 입력 이미지와 두 개의 보정된 이미지 총 세 소스를 다중 노출 융합함으로써 단일 이미지 보정 방법보다 더 나은 전역 노출 결과를 도출할 수 있는가?
• RQ4 제안된 방법은 최고 수준의 딥러닝 기반 및 상용 도구들과 비교해 시각적 품질과 사용자 선호도에서 어떻게 성능을 내는가?
• RQ5 소음 증폭이나 색상 아티팩트를 피하면서도 자연스러운 색상, 대비 및 세밀한 디테일을 얼마나 잘 유지하는가?

주요 결과

• 사용자 연구에서 83%의 참가자가 제안된 방법을 입력 이미지보다 선호하여 뛰어난 시각적 우수성을 입증했다.
• HDRNet 대비 72%, DPE 대비 78%, Exposure [HHX*18] 대비 67%의 선호도를 확보하여 다양한 기준 모델들에 비해 일관된 사용자 선호도를 확보했다.
• 과소노출 및 과노출 영역이 모두 존재하는 도전적인 이미지에서도 뛰어난 결과를 도출했으며, 이는 이전 방법들이 종종 실패했던 영역이다.
• Auto-Tone 및 Auto-Level과 같은 상용 도구들보다도 뛰어난 성능을 보였으며, 이는 종종 부자연스럽거나 최적의 결과를 내지 못하는 경향이 있다.
• 근접 인터랙티브 런타임(평균 0.8초)을 확보하여 실시간 응용에 실용적이다.
• 한계점으로는 극도로 과소노출 또는 과노출된 얼굴 영역에서 세부 정보 복원에 실패하거나, 노이즈가 많은 입력에서 잠재적인 소음 증폭이 발생할 수 있으나, 이러한 경우는 드물게 발생한다.