[논문 리뷰] A Bio-Inspired Multi-Exposure Fusion Framework for Low-light Image Enhancement

Zhenqiang Ying, Ge Li외 1명|arXiv (Cornell University)|2017. 11. 02.

Image Enhancement Techniques참고 문헌 36인용 수 248

한 줄 요약

본 논문은 저조도 향상을 위한 생물 영감의 다중 노출 융합 프레임워크를 제시하며, 조명을 추정하고 카메라 응답 모델을 통해 잘 노출된 이미지를 합성한 뒤, 입력 이미지와 이를 학습된 가중치 맵으로 융합하여 대비와 명도 왜곡을 감소시키는 듀얼-노출 융합 알고리즘을 도입한다.

ABSTRACT

Low-light images are not conducive to human observation and computer vision algorithms due to their low visibility. Although many image enhancement techniques have been proposed to solve this problem, existing methods inevitably introduce contrast under- and over-enhancement. Inspired by human visual system, we design a multi-exposure fusion framework for low-light image enhancement. Based on the framework, we propose a dual-exposure fusion algorithm to provide an accurate contrast and lightness enhancement. Specifically, we first design the weight matrix for image fusion using illumination estimation techniques. Then we introduce our camera response model to synthesize multi-exposure images. Next, we find the best exposure ratio so that the synthetic image is well-exposed in the regions where the original image is under-exposed. Finally, the enhanced result is obtained by fusing the input image and the synthetic image according to the weight matrix. Experiments show that our method can obtain results with less contrast and lightness distortion compared to that of several state-of-the-art methods.

연구 동기 및 목표

• 자연스러운 명도와 대비를 보존하는 개선된 저조도 영상 향상을 촉진한다.
• 단일 입력으로부터 다중 노출 이미지를 생성하고 융합하기 위해 인간의 시각 시스템에서 영감을 받은 프레임워크를 제안한다.
• 조명 기반 가중치와 카메라 응답 모델을 갖춘 듀얼 노출 융합 알고리즘을 개발한다.
• 다수의 데이터셋에서 최신 방법들과 비교해 대비 및 명도 왜곡이 감소했음을 보여준다.

제안 방법

• 네 부분으로 구성된 프레임워크를 도입한다: 멀티-노출 샘플러, 제너레이터, 이밸리에이터, 그리고 커밀(Combiner).
• 지역적으로 일관된 조명을 정제하기 위해 정규화된 최적화를 풀이하여 장면 조도 맵 T를 추정한다.
• 두 매개변수 형식 g(P,k)=β P^γ 로 밝기 변환 함수(BTF) g를 모델링하고, 공변량 방정식에서 카메라 응답 함수(CRF) f를 도출하여 g(P,k)=e^{b(1-k^{a})} P^{k^{a}}를 얻으며, 카메라 특성으로부터 도출된 매개변수를 사용한다.
• 합성 후 밝기 채널의 엔트로피를 최대화하여 최적 노출비 k를 계산하고, 입력 이미지를 합성된 잘 노출된 이미지와 학습된 가중치 맵 Ŵ를 사용해 융합한다.
• 효율성을 위한 선형 시스템을 통한 닫힌 해 형식의 조도 맵 솔루션을 제공하고, 공용 데이터셋에 대한 광범위한 실험으로 검증한다.

실험 결과

연구 질문

• RQ1 생체 영감을 받은 다중 노출 융합 프레임워크가 지역 간 노출 균형을 통해 저조도 이미지 향상을 개선할 수 있는가?
• RQ2 조명 추정과 카메라 응답 모델을 결합하여 단일 저조도 입력으로부터 잘 노출된 이미지를 합성할 수 있는가?
• RQ3 조명 가이드 가중 맵을 이용한 듀얼 노출 융합이 기존 방법에 비해 대비와 명도 왜곡을 줄이는가?

주요 결과

• 제안된 Ours 방법은 MSRCR, Dong, NPE, LIME, MF, SRIE 등 여러 데이터셋에 대해 낮은 명도 왜곡(LOE)을 달성한다.
• VIF(시각 정보 적합도) 측면에서 제안 방법이 여러 데이터셋에서 더 높은 점수를 기록해 시각 정보의 보존이 더 잘 이루어진다.
• DRIM(왜곡으로 인한 대비 저하 측정)에서 더 낮은 왜곡으로 바람직한 대비 보존을 보여준다.
• 이 방법은 향상과 자연스러움의 균형을 유지하며, 여러 베이스라인에 비해 Halo 아티팩트와 노이즈를 줄인다.
• 저자들은 경쟁력 있는 시간 비용을 보고하고 재현성을 위한 오픈 소스 코드를 제공한다.