[논문 리뷰] SESF-Fuse: An Unsupervised Deep Model for Multi-Focus Image Fusion

Boyuan Ma, Xiaojuan Ban외 2명|arXiv (Cornell University)|2019. 08. 05.

Advanced Image Fusion Techniques참고 문헌 25인용 수 19

한 줄 요약

이 논문은 인코더-디코딩에서 유도된 깊이 특징과 공간 주파수를 활용하여 활동 수준을 측정하고 융합을 위한 결정 지도를 생성함으로써, 합성 학습 데이터가 필요 없이 다중 초점 이미지 융합을 위한 비지도 딥 러닝 모델인 SESF-Fuse를 제안한다. 이 방법은 강도가 아닌 특징 기울기를 중심으로 하여, 합성 데이터 없이도 기존 16개의 방법보다 목적적 지표와 주관적 평가에서 최고 성능을 기록한다.

ABSTRACT

In this work, we propose a novel unsupervised deep learning model to address multi-focus image fusion problem. First, we train an encoder-decoder network in unsupervised manner to acquire deep feature of input images. And then we utilize these features and spatial frequency to measure activity level and decision map. Finally, we apply some consistency verification methods to adjust the decision map and draw out fused result. The key point behind of proposed method is that only the objects within the depth-of-field (DOF) have sharp appearance in the photograph while other objects are likely to be blurred. In contrast to previous works, our method analyzes sharp appearance in deep feature instead of original image. Experimental results demonstrate that the proposed method achieves the state-of-art fusion performance compared to existing 16 fusion methods in objective and subjective assessment.

연구 동기 및 목표

• 한정된 심도 범위로 인해 장면의 일부만 초점이 맞춰진 다중 초점 이미지 융합 문제를 해결하기 위해.
• 합성 학습 데이터나 감독 레이블링이 필요 없는 비지도 딥 러닝 접근법을 개발하기 위해.
• 강도나 원시 이미지 기울기 대신 깊이 특징의 날카움을 중심으로 융합 성능을 향상시키기 위해.
• 비지도 표현 학습과 공간 주파수와 같은 전통적인 영상 처리 기법을 융합하여 활동 수준 추정의 강건성을 높이기 위해.
• 기존 방법들과 비교해 목적적 지표와 시각적 품질 측면에서 뛰어난 융합 결과를 달성하기 위해.

제안 방법

• 입력된 다중 초점 이미지에서 고수준의 깊이 특징을 추출하기 위해 비지도 인코더-디코더 네트워크를 훈련한다.
• 깊이 특징과 함께 공간 주파수를 사용하여 영역의 활동 수준을 계산하고 날카움을 강조한다.
• 결합된 활동 수준에 기반하여 결정 지도를 생성하여 융합 출력에서 어떤 픽셀을 원본 이미지에서 선택할지 결정한다.
• 일관성 검증 방법을 적용하여 결정 지도를 정밀하게 다듬고 잡음 요소를 줄인다.
• 정밀화된 결정 지도와 원본 소스 이미지 픽셀을 사용하여 최종 융합 이미지를 재구성한다.
• 이 방법은 심도 범위 내에 있는 물체만 날카운 모습을 보이며, 이는 깊이 특징 기울기를 통해 캡처된다는 가정에 기반한다.

실험 결과

연구 질문

• RQ1 합성 학습 데이터나 감독 레이블링이 필요 없이 비지도 딥 러닝 모델이 다중 초점 이미지 융합에 효과적으로 작용할 수 있는가?
• RQ2 깊이 특징과 공간 주파수를 활용한 활동 수준 측정이 강도 기반 또는 기울기 기반 방법보다 다중 초점 융합에서 더 나은 성능을 내는가?
• RQ3 목적적 지표와 시각적 품질 측면에서 제안된 방법은 기존 최고 수준의 융합 기법들과 비교해 어떻게 성능을 내는가?
• RQ4 비지도 표현 학습과 전통적인 영상 처리 기법의 조합이 뛰어난 융합 결과를 낼 수 있는가?
• RQ5 초점 전환 영역인 가장자리 및 테두리 영역에서도 이 방법은 강인한가?

주요 결과

• SESF-Fuse는 17개의 방법 중에서 $Q_{g}$와 $Q_{cb}$ 지표에서 평균 점수가 가장 높으며, 각각 $Q_{g} = 0.7105$와 $Q_{cb} = 0.7848$로, 모든 16개의 기준 방법을 초월한다.
• 이 방법은 $Q_{m}$ 지표에서 점수 2.8886을 기록하여 우수한 강건성과 일관성을 보였다.
• 주관적 평가 결과, SESF-Fuse는 특히 초점이 맞춰진 영역와 흐릿한 영역 사이의 경계 및 전이 영역에서 더 날카우면서도 정확한 융합 이미지를 생성한다.
• CNN-Fuse와 달리 합성 데이터를 사용해 감독 학습이 필요한 반면, SESF-Fuse는 완전히 비지도 방식으로 작동하여 데이터 의존도를 낮춘다.
• 차이 이미지 분석 결과, SESF-Fuse는 초점이 맞춰진 영역을 가장 정확하게 탐지하며 잔여 정보가 최소한이었고, DWT, CVT, DenseFuse 등의 방법들보다 뛰어난 성능을 보였다.
• 이 방법은 복잡한 장면에서 세부 정보를 잘 유지한다. 예를 들어, '시드니 오페라 하우스' 이미지에서 코ala의 귀나 사람의 얼굴 부분에서 다른 방법들이 뿌연 결과를 낼 때, SESF-Fuse는 날카운 세부 정보를 잘 보존한다.