[논문 리뷰] Gradient Aware Cascade Network for Multi-Focus Image Fusion.

Boyuan Ma, Xiang Yin외 3명|arXiv (Cornell University)|2020. 10. 17.

Advanced Image Fusion Techniques인용 수 4

한 줄 요약

이 논문은 종단 간 다중 초점 이미지 융합을 위한 기울기 인식 캐스케이드 네트워크를 제안하며, 경험적 후처리에 의존하지 않고 종단 간 방식으로 결정 맵과 융합 이미지를 동시에 생성한다. 기울기 인식 손실과 결정 보정을 도입함으로써 융합 품질을 향상시키고, 최신 기술 대비 다중 이미지 융합 속도를 30% 이상 향상시킨다.

ABSTRACT

The general aim of multi-focus image fusion is to gather focused regions of different images to generate a unique all-in-focus fused image. Deep learning based methods become the mainstream of image fusion by virtue of its powerful feature representation ability. However, most of the existing deep learning structures failed to balance fusion quality and end-to-end implementation convenience. End-to-end decoder design often leads to poor performance because of its non-linear mapping mechanism. On the other hand, generating an intermediate decision map achieves better quality for the fused image, but relies on the rectification with empirical post-processing parameter choices. In this work, to handle the requirements of both output image quality and comprehensive simplicity of structure implementation, we propose a cascade network to simultaneously generate decision map and fused result with an end-to-end training procedure. It avoids the dependence on empirical post-processing methods in the inference stage. To improve the fusion quality, we introduce a gradient aware loss function to preserve gradient information in output fused image. In addition, we design a decision calibration strategy to decrease the time consumption in the application of multiple image fusion. Extensive experiments are conducted to compare with 16 different state-of-the-art multi-focus image fusion structures with 6 assessment metrics. The results prove that our designed structure can generally ameliorate the output fused image quality, while implementation efficiency increases over 30\% for multiple image fusion.

연구 동기 및 목표

• 딥 러닝 기반 다중 초점 이미지 융합에서 융합 품질과 구조적 단순성 간의 상충 관계를 해결하기 위해.
• 결정 맵과 융합 이미지 생성을 위한 종단 간 훈련을 통해 경험적 후처리에 대한 의존도를 제거하기 위해.
• 새로운 손실 함수를 통해 기울기 보존을 통해 융합 품질을 향상시키기 위해.
• 결정 보정 전략을 통해 다중 이미지 융합에서 추론 시간을 단축시키기 위해.

제안 방법

• 종단 간 훈련 절차에서 결정 맵과 융합 이미지를 동시에 예측할 수 있도록 캐스케이드 네트워크 아키텍처를 설계하였다.
• 융합 출력에서 기울기 정보를 유지함으로써 구조적 및 에지 세부 정보를 보존하기 위해 기울기 인식 손실 함수를 도입하였다.
• 특히 다중 이미지 융합 시나리오에서 계산 오버헤드를 줄이기 위해 추론 중에 계산 부담을 줄이는 결정 보정 전략을 제안하였다.
• 후처리 파rameter 수동 조정이 필요 없이 종단 간으로 훈련된 네트워크이다.
• 구조적 단순성을 유지하면서 융합 성능을 향상시키기 위해 깊이 있는 특징 표현을 활용하였다.

실험 결과

연구 질문

• RQ1 경험적 후처리 없이 통합된 종단 간 네트워크 아키텍처가 결정 맵과 융합 이미지를 동시에 생성할 수 있는가?
• RQ2 기울기 인식 손실이 융합 이미지의 주관적 품질과 구조적 품질에 어떻게 기여하는가?
• RQ3 결정 보정 전략이 다중 이미지 융합 응용에서 추론 시간을 얼마나 줄이는가?
• RQ4 제안된 방법은 16개의 최신 융합 네트워크와 비교해 성능과 효율성 면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 16개의 최신 기술 대비 여섯 가지 평가 지표에서 뛰어난 융합 품질을 달성하였다.
• 경험적 후처리가 필요 없어져 추론의 단순성과 재현 가능성이 향상되었다.
• 기울기 인식 손실 함수는 에지와 질감 세부 정보를 효과적으로 보존하여 융합 이미지의 구조적 유사도와 선명도를 향상시켰다.
• 결정 보정 전략은 다중 이미지 융합에서 시간 소비를 30% 이상 감소시켰다.