[논문 리뷰] Multi-focus Image Fusion: A Benchmark

Xingchen Zhang|arXiv (Cornell University)|2020. 05. 03.

Advanced Image Fusion Techniques참고 문헌 78인용 수 18

한 줄 요약

이 논문은 105组의 이미지 쌍, 30개의 알고리즘, 20개의 평가 지표를 포함하는 다중 집중 이미지 융합(MFIFB)을 위한 첫 번째 종합적 벤치마크를 소개한다. 이는 깊이 학습 기반 방법이 시뮬레이션된 훈련 데이터에서 강한 초점 흐림 효과가 부족하여 실제 도전적인 데이터셋에서 전통적 방법보다 성능이 열 劣하다는 것을 드러낸다.

ABSTRACT

Multi-focus image fusion (MFIF) has attracted considerable interests due to its numerous applications. While much progress has been made in recent years with efforts on developing various MFIF algorithms, some issues significantly hinder the fair and comprehensive performance comparison of MFIF methods, such as the lack of large-scale test set and the random choices of objective evaluation metrics in the literature. To solve these issues, this paper presents a multi-focus image fusion benchmark (MFIFB) which consists a test set of 105 image pairs, a code library of 30 MFIF algorithms, and 20 evaluation metrics. MFIFB is the first benchmark in the field of MFIF and provides the community a platform to compare MFIF algorithms fairly and comprehensively. Extensive experiments have been conducted using the proposed MFIFB to understand the performance of these algorithms. By analyzing the experimental results, effective MFIF algorithms are identified. More importantly, some observations on the status of the MFIF field are given, which can help to understand this field better.

연구 동기 및 목표

• 다중 집중 이미지 융합(MFIF)에서 공정하고 종합적인 성능 비교를 위한 표준화된 벤치마크 부족 문제를 해결한다.
• Lytro와 같이 20개의 이미지 쌍 뿐이며 강한 초점 흐림 효과가 부족한 기존 데이터셋의 한계를 극복한다.
• 다양한 알고리즘, 평가 지표, 대규모 테스트 세트를 통합한 통합 플랫폼을 제공하여 객관적인 성능 평가를 가능하게 한다.
• 모든 통합 알고리즘을 동일 조건에서 평가하여 MFIF의 진정한 최첨단 수준을 규명한다.
• 딥 러닝 기반 MFIF 방법의 실세계 데이터에서의 성능과 일반화 능력 사이의 격차를 부각한다.

제안 방법

• Lytro, MFFW, Savic 등과 Aymaz 등이 제시한 데이터셋을 포함하여 다양성과 도전도를 높인 105개의 다중 집중 이미지 쌍으로 구성된 대규모 테스트 데이터셋을 구축한다.
• 공간 도메인 기반, 변환 도메인 기반, 딥 러닝 기반 방법을 포함한 30개의 최첨단 MFIF 알고리즘을 수집하고 통합한다.
• 정보 이론(MI, NMI 등), 구조적 유사도(SSIM, Q_Y), 품질 평가(PSNR, VIF, FMI)를 포함한 20개의 객관적 평가 지표를 구현한다.
• 모든 알고리즘을 동일 조건에서 평가하기 위해 벤치마크를 활용해 광범위한 정량적 및 정성적 실험을 수행한다.
• 일관된 훈련 및 추론 프로토콜을 적용하여 온라인 모델 업데이트 없이 딥 러닝 및 비딥 러닝 방법 간의 공정한 비교를 보장한다.
• Lytro, MFFW 등 여러 하위집합에서의 성능를 분석하여 알고리즘의 일반화 능력과 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 MFIF 방법은 대규모, 다양성 있고 도전적인 실세계 데이터셋에서 전통적 방법보다 어떻게 성능을 내는가?
• RQ2 현재의 MFIF 평가 지표들은 다양한 알고리즘 간에 일관되고 신뢰할 수 있는 성능 순위를 제공하는가?
• RQ3 왜 많은 딥 러닝 기반 MFIF 방법들이 초점 흐림 효과가 뚜렷하지 않은 Lytro와 같은 데이터셋을 초월해 일반화하지 못하는가?
• RQ4 통합된 벤치마크 플랫폼은 이전의 고립된 연구에 비해 MFIF 알고리즘 평가의 공정성과 종합성을 향상시킬 수 있는가?
• RQ5 다양한 MFIF 알고리즘 간에 정성적 시각적 결과와 정량적 지표 순위는 얼마나 일관되는가?

주요 결과

• 딥 러닝 기반 MFIF 방법 중 DPRL은 이전 연구에서 최첨단로 선언되었지만, 전체 MFIFB 데이터셋에서는 다섯 번째로 높은 순위에 머물러 있다.
• 공간 도메인 및 변환 도메인 기반의 전통적 방법이 MFIFB 데이터셋에서 딥 러닝 기반 방법보다 성능이 뛰어나며, 특히 강한 초점 흐림 효과가 있는 MFFW 하위집합에서 두드러진다.
• 성능 격차는 대부분의 딥 러닝 모델이 현실적인 초점 흐림 효과가 부족한 시뮬레이션된 데이터에서 훈련되기 때문에 실세계 시나리오로의 일반화 능력이 제한되기 때문이다.
• 평가 결과는 어떤 지표도 알고리즘 순위를 항상 동일하게 내지 못함을 보여주며, 다양한 지표가 서로 다른 방법을 선호함을 시사하며, 다중 지표 평가의 필요성을 강조한다.
• 정성적 결과와 정량적 결과가 종종 일치하지 않으며, 이는 MFIF 성능 평가에 시각적 검토와 수치적 지표를 모두 활용해야 한다는 것을 시사한다.
• MFIFB 벤치마크는 이전의 성능 선언이 종종 작은 데이터셋과 편향된 지표 선택에 기반하여 딥 러닝 모델의 능력을 과대평가한 결과였음을 드러낸다.