[논문 리뷰] End-to-End Learning for Simultaneously Generating Decision Map and Multi-Focus Image Fusion Result

Boyuan Ma, Xiang Yin외 2명|arXiv (Cornell University)|2020. 10. 17.

Advanced Image Fusion Techniques참고 문헌 58인용 수 78

한 줄 요약

이 논문은 종단간(end-to-end)으로 결정 지도와 융합된 다중 포커스 이미지를 동시에 생성하여 경험적 후처리를 회피하는 GACN을 제안한다. 기울기 인식 손실과 결정 보정 전략을 도입함으로써 융합 품질을 향상시키고, 다중 이미지 융합 속도를 30% 이상 향상시킨다.

ABSTRACT

The general aim of multi-focus image fusion is to gather focused regions of different images to generate a unique all-in-focus fused image. Deep learning based methods become the mainstream of image fusion by virtue of its powerful feature representation ability. However, most of the existing deep learning structures failed to balance fusion quality and end-to-end implementation convenience. End-to-end decoder design often leads to unrealistic result because of its non-linear mapping mechanism. On the other hand, generating an intermediate decision map achieves better quality for the fused image, but relies on the rectification with empirical post-processing parameter choices. In this work, to handle the requirements of both output image quality and comprehensive simplicity of structure implementation, we propose a cascade network to simultaneously generate decision map and fused result with an end-to-end training procedure. It avoids the dependence on empirical post-processing methods in the inference stage. To improve the fusion quality, we introduce a gradient aware loss function to preserve gradient information in output fused image. In addition, we design a decision calibration strategy to decrease the time consumption in the application of multiple images fusion. Extensive experiments are conducted to compare with 19 different state-of-the-art multi-focus image fusion structures with 6 assessment metrics. The results prove that our designed structure can generally ameliorate the output fused image quality, while implementation efficiency increases over 30\% for multiple images fusion.

연구 동기 및 목표

• 딥 러닝 기반 이미지 융합에서 융합 품질과 종단간 학습의 단순성 사이의 상충 관계를 해결하기 위해.
• 융합된 이미지 생성 과정에서 결정 지도 보정을 위한 경험적 후처리에 의존하지 않기 위해.
• 새로운 손실 함수를 통해 융합된 이미지의 기울기 정보를 유지하기 위해.
• 결정 보정 전략을 활용하여 다중 이미지 융합의 계산 효율성을 향상시키기 위해.

제안 방법

• 종단간 방식으로 결정 지도와 융합 이미지를 동시에 예측하는 캐스케이드 네트워크 아키텍처를 제안한다.
• 융합 출력에서 기울기 유사도를 최적화하여 가장자리와 무늬 세부 정보를 유지하기 위해 기울기 인식 손실 함수(LQg)를 도입한다.
• 다중 입력 이미지 간 활동 수준을 계산하는 결정 보정 모듈을 활용하여 다중 이미지 융합에서의 불필요한 계산을 줄인다.
• 결정 지도 정확도 향상과 기울기 보존을 향상시키기 위해 LDice와 LQg 손실 함수의 조합을 사용한다.
• 수치적 안정성과 성능 향상을 위해 기울기 손실에 부드러운 근사와 절대 함수를 적용한다.
• 후처리 없이 종단간으로 네트워크를 학습시켜 융합된 이미지 품질을 직접 최적화한다.

실험 결과

연구 질문

• RQ1 경험적 후처리 없이 종단간 학습이 동시에 높은 품질의 결정 지도와 융합된 이미지를 생성할 수 있는가?
• RQ2 기울기 인식 손실 함수는 융합된 다중 포커스 이미지의 주관적 품질을 어떻게 향상시키는가?
• RQ3 결정 보정 전략은 다중 이미지 융합에서 시간 소비를 상당히 줄일 수 있는가?
• RQ4 제안된 방법은 융합 품질과 효율성 측면에서 19개의 최신 기술(SOTA)과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 GACN은 여섯 가지 평가 지표에서 19개의 SOTA 기법을 모두 능가하는 뛰어난 융합 품질을 달성한다.
• LDice와 LQg 손실 함수의 조합이 최고의 성능을 내며, LQg가 기울기 정보 보존에 가장 효과적임을 확인했다.
• 결정 보정 전략은 'chip' 데이터셋 기준 순차적 융합 대비 시간 소비를 30.65% 감소시켰으며, 전반적인 방법들에 대해 30% 이상의 효율성 향상을 달성했다.
• 제거 실험을 통해 LQg가 LEG 및 LST보다 구조적 세부 정보 보존에 더 효과적임을 확인했다.
• 다양한 데이터셋, 특히 다수의 초점 지점이 있는 현미경 이미지에서 뛰어난 안정성 있는 성능을 보였다.
• 시각화 결과 GACN은 CNN-Fuse 및 SESF-Fuse보다 더 선명하고 잡음이 적은 융합 이미지를 생성함을 확인했다.