[논문 리뷰] VIFB: A Visible and Infrared Image Fusion Benchmark

Xingchen Zhang, Ping Ye외 1명|arXiv (Cornell University)|2020. 02. 09.

Advanced Image Fusion Techniques참고 문헌 61인용 수 8

한 줄 요약

이 논문은 21개의 다양한 이미지 쌍, 20개의 최신 융합 알고리즘을 포함하는 통합 코드 라이브러리, 13개의 평가 지표를 갖춘 가시광선 및 적외선 이미지 융합을 위한 첫 번째 종합적 벤치마크인 VIFB를 소개한다. 이 벤치마크는 표준화되고 재현 가능한 성능 비교를 가능하게 하며, 딥 러닝 기반 방법이 아직 전통적 접근 방식을 능가하지 못하고 있음을 드러내며, 지표에 따라 성능이 달라지는 경향으로 인해 정량적 평가와 정성적 평가의 병행이 필수적임을 강조한다.

ABSTRACT

Visible and infrared image fusion is one of the most important areas in image processing due to its numerous applications. While much progress has been made in recent years with efforts on developing fusion algorithms, there is a lack of code library and benchmark which can gauge the state-of-the-art. In this paper, after briefly reviewing recent advances of visible and infrared image fusion, we present a visible and infrared image fusion benchmark (VIFB) which consists of 21 image pairs, a code library of 20 fusion algorithms and 13 evaluation metrics. We also carry out large scale experiments within the benchmark to understand the performance of these algorithms. By analyzing qualitative and quantitative results, we identify effective algorithms for robust image fusion and give some observations on the status and future prospects of this field.

연구 동기 및 목표

• 가시광선 및 적외선 이미지 융합을 위한 표준화된 벤치마크가 부족하여 알고리즘 간 객관적 비교가 어려운 문제를 해결하기 위해.
• 최근 20개의 융합 알고리즘을 하나의 상호운용 가능한 코드 라이브러리로 통합하여 일관된 인터페이스를 제공함으로써 평가를 용이하게 하기 위해.
• 단일 지표 의존을 넘어서 다각도의 성능 평가를 가능하게 하기 위해 13개의 평가 지표를 포괄적으로 제공하기 위해.
• 공개된 데이터셋과 결과를 제공하여 재현 가능한 연구를 지원하고 향후 알고리즘 개발을 촉진하기 위해.
• 기존 방법의 성능 및 효율성을 분석하여 향후 연구 방향을 안내하기 위해.

제안 방법

• VIFB 벤치마크는 공개 자료 및 추적 데이터셋에서 확보한 21개의 가시광선-적외선 이미지 쌍을 사용하여 구축되었으며, 실내, 실외, 저조도, 과노출 등의 다양한 조건을 포함한다.
• 20개의 최신 융합 알고리즘(다중 척도, 딥 러닝 기반, 부분공간 기반, 강조도 기반 방법 포함)을 통합한 통합 코드 라이브러리를 개발하여 일관된 입력/출력 인터페이스를 제공하였다.
• 인간의 시각 인지 기반 지표(예: $Q_{CB}$, $Q_{CV}$)와 정보 이론 기반 측정법을 포함한 13개의 평가 지표를 구현하여 종합적인 성능 분석을 가능하게 하였다.
• 모든 21개의 이미지 쌍에 대해 광범위한 실험을 수행하여, 모든 20개의 알고리즘을 13개의 지표에 대해 평가함으로써 완전한 성능 프로파일을 생성하였다.
• 계산 효율성을 평가하기 위해 런타임 분석을 수행하였으며, 모든 알고리즘에 대해 각 이미지 쌍당 실행 시간을 측정하였다.
• 모든 실험 결과(융합 이미지 및 지표 점수 포함)는 공개되어 있어 재현성 확보 및 향후 벤치마크 작업을 용이하게 한다.

실험 결과

연구 질문

• RQ1 일관된 평가 프로토콜을 갖춘 표준화된 다양성 있는 데이터셋에서 다양한 융합 알고리즘이 어떻게 성능을 내는가?
• RQ2 딥 러닝 기반 융합 방법이 가시광선-적외선 융합에서 비학습 기반 방법보다 얼마나 뛰어나게 성능을 내는가?
• RQ3 정량적 평가 지표 순위와 정성적 시각적 인지 간의 일관성은 어느 정도인가? 예를 들어, NSCT_SR 및 LatLRR는 시각적으로 만족스러운 결과를 내지만 인지 기반 지표($Q_{CB}$, $Q_{CV}$)에서는 열등한 성능 보여, 다중 지표 평가의 필수성 강조.
• RQ4 다양한 융합 알고리즘 유형 간의 계산 효율성 트레이드오프는 어떠한가? 실시간 응용에 미치는 영향은?
• RQ5 어떤 평가 지표가 가장 신뢰성 있고 상호보완적인가? 왜 다중 지표 평가는 필수적인가?

주요 결과

• 딥 러닝 기반 융합 알고리즘은 강력한 표현 능력을 지니고 있음에도 불구하고, 비학습 기반 방법보다 뛰어난 성능을 보이지 못하고 있음.
• 다양한 평가 지표 간에 심각한 성능 격차가 존재하여, 단일 지표로 전체 융합 품질을 신뢰할 수 없음을 시사함.
• 정성적 평가와 정량적 평가가 종종 일치하지 않음 — 예를 들어, NSCT_SR 및 LatLRR는 $Q_{CB}$, $Q_{CV}$와 같은 인지 기반 지표에서 열등한 성능을 보이며, 시각적으로는 만족스러운 결과를 내는 경우가 있음 — 이는 다중 지표 평가의 필수성을 강조함.
• 가장 빠른 알고리즘(IFEVIP)은 이미지 쌍당 0.17초 내에 실행되며, 가장 느린 알고리즘(LatLRR)은 271.04초를 소요하여 방법 간 1,500배의 성능 격차를 보임.
• 다중 척도 방법인 GFF는 매우 효율적(0.41초/쌍), 반면 딥 러닝 모델(CNN 및 DLF)은 GPU 가속화를 적용해도 상당히 느림(18.62–31.76초/쌍).
• 런타임은 실시간 응용에서의 주요 성능 저하 요인임 — LatLRR 및 NSCT_SR(94.65초/쌍)와 같은 알고리즘은 저지연 처리가 요구되는 추적 또는 탐지 시스템에 실용적이지 않음.