[논문 리뷰] MFIF-GAN: A New Generative Adversarial Network for Multi-Focus Image Fusion

Yicheng Wang, Shuang Xu외 4명|arXiv (Cornell University)|2020. 09. 21.

Advanced Image Fusion Techniques참고 문헌 52인용 수 4

한 줄 요약

이 논문은 다중 집중 이미지 융합을 위한 새로운 생성적 적대적 신경망인 MFIF-GAN을 제안한다. 이 방법은 전경 영역를 실제 객체보다 약간 더 크게 생성하는 집중 맵을 생성하여 초점 산산이 퍼짐 현상(DSE)을 감소시킨다. 이는 Squeeze-and-Excitation 잔차 블록을 갖춘 여섯 개의 브랜치 인코더를 사용하며, 손실 함수에 L1 재구성 손실과 기울기 페널티를 결합하고, 합성 α-마스크 데이터셋을 기반으로 훈련되어 시각적 품질, 정량적 지표, 추론 속도에서 최신 기술 수준을 초월하는 성능을 달성한다.

ABSTRACT

Multi-Focus Image Fusion (MFIF) is a promising image enhancement technique to obtain all-in-focus images meeting visual needs and it is a precondition of other computer vision tasks. One of the research trends of MFIF is to avoid the defocus spread effect (DSE) around the focus/defocus boundary (FDB). In this paper,we propose a network termed MFIF-GAN to attenuate the DSE by generating focus maps in which the foreground region are correctly larger than the corresponding objects. The Squeeze and Excitation Residual module is employed in the network. By combining the prior knowledge of training condition, this network is trained on a synthetic dataset based on an α-matte model. In addition, the reconstruction and gradient regularization terms are combined in the loss functions to enhance the boundary details and improve the quality of fused images. Extensive experiments demonstrate that the MFIF-GAN outperforms several state-of-the-art (SOTA) methods in visual perception, quantitative analysis as well as efficiency. Moreover, the edge diffusion and contraction module is firstly proposed to verify that focus maps generated by our method are accurate at the pixel level.

연구 동기 및 목표

• 집중/비집중 경계 근처에서 이미지 품질을 떨어뜨리는 다중 집중 이미지 융합에서의 초점 산산이 퍼짐 현상(DSE)을 해결하기 위해.
• 실제 객체보다 약간 더 큰 전경 영역을 갖는 집중 맵을 생성하여 융합 품질을 향상시키고, 실제 DSE를 시뮬레이션하기 위해.
• 기존 최신 기술 수준의 방법들을 능가하는 시각적 인식, 정량적 지표, 계산 효율성에서 우수한 성능을 보이는 딥 러닝 기반 융합 프레임워크를 개발하기 위해.
• 초점 산산이 퍼짐 현상이 포함된 실제적인 합성 데이터셋을 생성하여 지도 학습 기반 MFIF 모델을 훈련하기 위해.
• 픽셀 수준에서 생성된 집중 맵의 정확도를 검증하기 위해 새로운 엣지 확산 및 수축 모듈을 도입하기 위해.

제안 방법

• 입력 이미지에서 다중 척도 특징을 추출하기 위해 Squeeze-and-Excitation 잔차(SE-ResNet) 블록을 갖춘 여섯 개의 브랜치 인코더를 사용한다.
• 생성자는 PASCAL VOC 2012 데이터셋에 α-마스크 모델을 적용하여 생성된 합성 데이터셋을 기반으로 훈련되며, 현실적인 DSE를 시뮬레이션한다.
• 결합된 손실 함수는 L1-노름 재구성 손실과 기울기 페널티(L_gp)를 포함하여 경계 세부 정보 보존을 향상시킨다.
• 생성자와 판별자 간의 적대적 훈련을 통해 융합된 이미지의 현실성과 구조적 품질을 향상시킨다.
• 초기 집중 맵을 효율적으로 정밀화하기 위해 경량의 후처리 단계로 SRR(초해상도 재구성) 알고리즘을 사용한다.
• 생성된 집중 맵의 픽셀 수준 정확도를 검증하기 위해 엣지 확산 및 수축 모듈을 도입한다.

실험 결과

연구 질문

• RQ1 심층 생성 모델이 더 현실적인 집중 맵을 생성함으로써 다중 집중 이미지 융합에서 초점 산산이 퍼짐 현상(DSE)을 효과적으로 줄일 수 있는가?
• RQ2 α-마스크 기반 합성 데이터셋의 사용이 지도 학습 기반 MFIF 모델의 성능에 어떤 영향을 미치는가?
• RQ3 L1 재구성 손실과 기울기 페널티 손실이 융합된 이미지의 엣지 세부 정보 보존에 얼마나 기여하는가?
• RQ4 제안된 여섯 개의 브랜치로 구성된 주의 기반 네트워크 아키텍처가 표준 CNN보다 융합 품질과 강건성에서 뛰어나게 성능을 냈는가?
• RQ5 후처리 전략은 속도나 품질을 희생시키지 않고 집중 맵을 효율적으로 정밀화할 수 있는가?

주요 결과

• MFIF-GAN은 다양한 벤치마크에서 최신 기술 수준의 방법들과 비교해 모든 정량적 지표(예: PSNR, SSIM, LIF, AG, MSD, GLD)에서 최고 성능을 기록했다.
• RGB 이미지에서는 추론 시간이 0.0486초, MFFW에서는 0.047초, Grayscale에서는 0.0133초로 기록되어 최신 기술 수준의 방법들을 능가하는 효율성을 확보했다.
• 절단 실험 결과, L1 재구성 손실과 기울기 페널티가 엣지 세부 정보 품질 향상에 크게 기여하며, BCE 기반 손실은 엣지 지표에서 열악한 성능을 보였다.
• α-마스크 데이터셋과 SE-ResNet 블록의 사용은 DSE 영향을 받는 영역 처리에서 특히 뛰어난 특징 추출 성능을 보였다.
• 후처리 단계는 최소한의 계산 비용으로 집중 맵 정확도를 향상시키며, 전체 추론 속도를 가장 빠르게 유지했다.
• 엣지 확산 및 수축 모듈은 생성된 집중 맵이 픽셀 수준에서 정확하다는 것을 확인하였으며, 이는 객체 경계 수준에서 DSE를 시뮬레이션하고 완화할 수 있는 능력을 검증한다.