[논문 리뷰] DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs

Ram Prabhakar Kathirvel, V. Sai Srikar외 1명|arXiv (Cornell University)|2017. 12. 20.

Advanced Image Fusion Techniques인용 수 40

한 줄 요약

DeepFuse는 지도 학습이 필요 없는 새로운 비지도 딥 컨volution 네트워크 프레임워크를 제안하여 지나치게 노출된 이미지 쌍을 융합한다. 이는 지도 학습에 필요한 진짜 레이블이 없이도, 비지도 이미지 품질 측도를 손실 함수로 사용하여 종단 간 네트워크를 훈련시켜 입력 이미지의 저수준 특징을 융합하며, 기존 최고 수준의 방법들보다 뛰어난 시각적 품질과 잡음 없는 결과를 달성한다. 이는 최소한의 훈련 데이터로도 가능하다.

ABSTRACT

We present a novel deep learning architecture for fusing static multi-exposure images. Current multi-exposure fusion (MEF) approaches use hand-crafted features to fuse input sequence. However, the weak hand-crafted representations are not robust to varying input conditions. Moreover, they perform poorly for extreme exposure image pairs. Thus, it is highly desirable to have a method that is robust to varying input conditions and capable of handling extreme exposure without artifacts. Deep representations have known to be robust to input conditions and have shown phenomenal performance in a supervised setting. However, the stumbling block in using deep learning for MEF was the lack of sufficient training data and an oracle to provide the ground-truth for supervision. To address the above issues, we have gathered a large dataset of multi-exposure image stacks for training and to circumvent the need for ground truth images, we propose an unsupervised deep learning framework for MEF utilizing a no-reference quality metric as loss function. The proposed approach uses a novel CNN architecture trained to learn the fusion operation without reference ground truth image. The model fuses a set of common low level features extracted from each image to generate artifact-free perceptually pleasing results. We perform extensive quantitative and qualitative evaluation and show that the proposed technique outperforms existing state-of-the-art approaches for a variety of natural images.

연구 동기 및 목표

• 기존 방법들이 잡음과 낮은 강인성으로 인해 처리하지 못하는 극단적 노출 이미지 쌍 융합 문제를 해결하기 위해.
• 다중 노출 융합에서 지도 학습을 위한 충분한 훈련 데이터와 진짜 레이블의 부족 문제를 해결하기 위해.
• 파rameter 조정 없이 다양한 조명 조건과 장면 조건에 일반화 가능한 종단 간 딥 러닝 프레임워크를 개발하기 위해.
• 진짜 레이블이 없을 때 시각적 품질 측도가 손실 함수로 효과적으로 기능할 수 있음을 보여주기 위해.

제안 방법

• 공유 가중치를 가진 CNN 아키텍처가 극단적 노출 이미지 쌍의 각 이미지에서 공통된 저수준 특징을 추출한다.
• 해당 이미지 쌍의 특징들이 병합 레이어를 통해 융합되어 통합 표현을 형성한다.
• 융합된 특징들은 재구성 레이어를 통과하여 최종 융합 이미지를 생성한다.
• 진짜 이미지가 필요 없이 비지도 이미지 품질 측도를 손실 함수로 사용하여 종단 간으로 네트워크를 훈련시킨다.
• 손실 함수는 실질적인 성능을 높이는 것으로 입증된 인지적 측도(MEF SSIM)를 기반으로 하며, ℓ₁ 및 MSE 손실 함수보다 우수한 성능을 보인다.
• 실제 환경 조건(실내/실외, 주간/야간 등)에서 촬영한 다양한 노출 스택으로 구성된 대규모 다각도 데이터셋을 기반으로 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 지속적인 진짜 레이블 없이도 딥 비지도 CNN이 극단적 노출 이미지 쌍을 효과적으로 융합할 수 있는가?
• RQ2 진짜 이미지가 없을 때 비지도 이미지 품질 측도가 다중 노출 융합에서 손실 함수로 얼마나 효과적인가?
• RQ3 한 번 훈련된 모델이 파라미터 조정 없이 다양한 노출 조건과 장면 유형에 일반화될 수 있는가?
• RQ4 MEF SSIM과 같은 인지적 측도를 손실 함수로 사용할 경우, ℓ₁ 또는 MSE와 같은 표준 손실 함수보다 더 나은 융합 결과를 낼 수 있는가?
• RQ5 동일한 훈련된 네트워크를 다중 집중도 융합과 같은 다른 이미지 융합 작업으로 이식할 수 있는가?

주요 결과

• DeepFuse는 다양한 자연 이미지 시퀀스에서 정량적 및 정성적 평가에서 7개의 최고 수준 기법들을 모두 능가한다.
• 3개 이미지 노출 스택에 대해 DeepFuse는 평균 MEF SSIM 0.987을 기록하여 Mertens 등이 제시한 0.979를 초월한다.
• 4개 이미지 노출 스택에 대해 DeepFuse는 평균 MEF SSIM 0.972를 기록하였으며, Mertens 등의 0.978보다는 낮지만, 훈련 데이터가 제한되어 있어 성능 저하가 발생한다.
• Mertens 등에 비해 3~4배 더 빠른 속도를 보이며, GPU에서 512×384 이미지의 추론 시간은 0.07초이다.
• 훈련된 네트워크는 파라미터 조정 없이 다중 집중도 융합에 잘 일반화되어 있으며, 모든 초점이 맑은 결과를 생성한다. 이는 학습된 특징의 일반성과 관련이 있다.
• 정확한 MEF SSIM을 손실 함수로 사용할 경우, ℓ₁ 및 MSE보다 훨씬 뛰어난 결과를 도출하며, 이는 비지도 훈련에서의 효과성을 입증한다.