[논문 리뷰] Multi-Exposure Image Fusion Based on Exposure Compensation

Yuma Kinoshita, Taichi Yoshida외 2명|arXiv (Cornell University)|2018. 06. 23.

Image Enhancement Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 노출 보정과 국소 대trast 강화를 통해 융합 이전에 입력 이미지를 향상시키는 다중 노출 이미지 융합 방법을 제안한다. 선형 카메라 반응 모델을 사용하여 노출 값 관계에 기반해 밝기 수준을 조정한다. 기존 방법들과 비교하여 TMQI, 통계적 자연성, 이산 엔트로피 점수에서 높은 수준을 기록함으로써 이미지 품질 향상이 입증되었다.

ABSTRACT

This paper proposes a novel multi-exposure image fusion method based on exposure compensation. Multi-exposure image fusion is a method to produce images without color saturation regions, by using photos with different exposures. However, in conventional works, it is unclear how to determine appropriate exposure values, and moreover, it is difficult to set appropriate exposure values at the time of photographing due to time constraints. In the proposed method, the luminance of the input multi-exposure images is adjusted on the basis of the relationship between exposure values and pixel values, where the relationship is obtained by assuming that a digital camera has a linear response function. The use of a local contrast enhancement method is also considered to improve input multi-exposure images. The compensated images are finally combined by one of existing multi-exposure image fusion methods. In some experiments, the effectiveness of the proposed method are evaluated in terms of the tone mapped image quality index, statistical naturalness, and discrete entropy, by comparing the proposed one with conventional ones.

연구 동기 및 목표

• 시간 제약과 동적인 환경로 인해 실용적으로 최적의 노출 값을 선택하는 데 어려움이 있는 다중 노출 이미지 융합에서의 도전 과제를 해결하기 위해.
• 선형 카메라 반응 모델을 사용하여 노출 차이를 보정함으로써 융합 이전에 입력 다중 노출 이미지의 품질을 향상시키기 위해.
• 국소 대trast 강화 및 톤 맵핑을 통해 이미지 품질을 향상시키고, 과도한 채도 및 흐림 아티팩트를 감소시키기 위해.
• HDR 생성, CRF 校정, 노출 보존을 위한 필요성을 제거하기 위해 융합 파이프라인에서 노출 보정을 활용함으로써.
• TMQI, 통계적 자연성, 이산 엔트로피와 같은 객관적 지표를 사용하여 제안된 방법의 우수성을 평가하기 위해.

제안 방법

• 노출 값(EV)과 픽셀 값 간의 관계를 선형 카메라 반응 함수로 모델링하며, 픽셀 값이 노출에 비례하여 선형적으로 증가한다고 가정한다 (I_i(p) = 2^{v_i} * I_0(p)).
• 기준 노출(0 EV)에 비해 각 이미지의 노출 값에 따라 픽셀 값을 스케일링하여 노출 보정을 수행함으로써 밝기 정규화를 실현한다.
• 융합 이전에 과도하게 어두운 또는 밝은 영역의 가시성과 세부 정보를 향상시키기 위해 국소 대trast 강화를 적용한다.
• 보정된 이미지를 기존의 다중 노출 융합 방법(Mertens, Sakai, Nejati 등)을 사용하여 융합하여 최종 LDR 출력을 생성한다.
• 직접 노출 보정된 입력 이미지를 다루므로 HDR 재구성 및 CRF 校정을 피하는 방식이다.
• 제안된 방법은 톤 매핑된 이미지 품질 지수(TMQI), 통계적 자연성, 이산 엔트로피를 정량적 지표로 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 선형 카메라 반응 모델 기반의 노출 보정이 다중 노출 이미지 간의 밝기 정규화에 효과적으로 기여하여 융합 품질 향상에 기여할 수 있는가?
• RQ2 입력 이미지에 대한 국소 대trast 강화가 융합 결과의 시각적 품질 향상과 더불어 객관적 지표 점수 향상에 기여하는가?
• RQ3 제안된 방법은 TMQI, 통계적 자연성, 이산 엔트로피 측면에서 기존의 다중 노출 융합 기법들과 비교해 어떤가?
• RQ4 특히 동적인 환경에서 촬영 시 정밀한 노출 설정에 대한 의존도를 줄일 수 있는가?
• RQ5 원본 이미지가 심하게 과도하거나 과소 노출된 경우 노출 보정이 이미지 품질 향상에 얼마나 기여하는가?

주요 결과

• 60장의 테스트 이미지에서 제안된 방법은 평균 TMQI 점수 0.8713을 기록하여 기존 방법들(예: Nejati [10]의 0.8703)보다 높은 성능을 보였다.
• 시뮬레이션 1에서 통계적 자연성 점수는 제안된 방법이 평균 0.4439로, Nejati [10]의 0.4421과 Sakai [9]의 0.3919보다 유의미하게 향상되었다.
• 시뮬레이션 2에서 'Corridor' 이미지의 경우 제안된 방법은 이산 엔트로피 7.533을 기록하여 Mertens [5]의 7.524와 Nejati [10]의 7.535보다 높게 나타나 세부 정보 보존 능력이 뛰어나다는 것을 시사한다.
• 'Lobby' 이미지의 경우 제안된 방법은 통계적 자연성 점수를 Nejati [10]의 0.0054에서 0.5541로 상승시켜 어두운 환경에서의 가시성 복구 능력이 뛰어나다는 것을 입증하였다.
• 기존 방법이 거의 보이지 않는 출력을 생성하는 극도로 어두운 환경(예: 'Lobby' 이미지)에서도 제안된 방법은 향상된 입력 이미지의 밝기와 대비로 인해 이미지 품질 향상 효과를 보였다.
• 두 시뮬레이션 모두에서 제안된 방법은 TMQI, 통계적 자연성, 이산 엔트로피 세 가지 평가 지표에서 모든 기존 방법들을 압도적으로 뛰어넘었다.