[논문 리뷰] Benchmarking and Comparing Multi-exposure Image Fusion Algorithms

Xingchen Zhang|arXiv (Cornell University)|2020. 07. 30.

Advanced Image Fusion Techniques참고 문헌 75인용 수 5

한 줄 요약

이 논문은 100개의 이미지 쌍, 16개의 알고리즘, 20개의 평가 지표, 1600개의 융합 이미지 및 소프트웨어 툴킷을 포함하는 다중 노출 영상 융합(MEF)을 위한 첫 번째 종합 벤치마크인 MEFB를 소개한다. 이는 기존 및 딥 러닝 기반 MEF 방법 간의 공정하고 재현 가능한 성능 비교를 가능하게 하며, 딥 러닝 접근법이 항상 전통적 방법을 능가하지는 않으며, 손실 함수에 다수의 지표를 통합하는 것이 중요하다는 점을 드러낸다.

ABSTRACT

Multi-exposure image fusion (MEF) is an important area in computer vision and has attracted increasing interests in recent years. Apart from conventional algorithms, deep learning techniques have also been applied to multi-exposure image fusion. However, although much efforts have been made on developing MEF algorithms, the lack of benchmark makes it difficult to perform fair and comprehensive performance comparison among MEF algorithms, thus significantly hindering the development of this field. In this paper, we fill this gap by proposing a benchmark for multi-exposure image fusion (MEFB) which consists of a test set of 100 image pairs, a code library of 16 algorithms, 20 evaluation metrics, 1600 fused images and a software toolkit. To the best of our knowledge, this is the first benchmark in the field of multi-exposure image fusion. Extensive experiments have been conducted using MEFB for comprehensive performance evaluation and for identifying effective algorithms. We expect that MEFB will serve as an effective platform for researchers to compare performances and investigate MEF algorithms.

연구 동기 및 목표

• 다중 노출 영상 융합(MEF) 알고리즘에 대한 표준화된 벤치마크가 부족한 문제를 해결하여 공정하고 종합적인 성능 평가를 가능하게 하기 위해.
• 기존 및 딥 러닝 기반 접근법을 포함한 다양한 MEF 방법 간의 일관된 비교를 가능하게 하기 위해.
• 실행 장벽을 줄이고 연구 속도를 가속화하기 위해 통합된 소프트웨어 툴킷과 사전 융합된 이미지를 제공하기 위해.
• 체계적인 평가를 통해 기존 MEF 알고리즘의 성능 격차와 한계를 규명하기 위해.

제안 방법

• 다양한 장면과 조명 조건에서 수집한 100개의 다중 노출 이미지 쌍을 포함하여 광범위한 대표성을 확보한다.
• 픽셀 기반, 패치 기반, 에지 유지 기반, 다중 척도 기반, 최적화 기반 및 딥 러닝 기반 방법을 포함한 16개의 최신 MEF 알고리즘을 통합한다.
• PSNR, SSIM, MEF-SSIM, MI, Q factor, VIF 등 총 20개의 평가 지표를 사용하여 다각도에서 영상 품질을 평가한다.
• 소프트웨어 툴킷은 입력/출력 인터페이스와 실행 워크플로우를 표준화하여 실험의 간편한 통합과 재현 가능성을 보장한다.
• 모든 1600개의 융합 이미지(16개의 알고리즘 × 100개의 이미지 쌍)는 평가에 직접 사용 가능한 공개 자료로 제공된다.
• 향후 새로운 알고리즘, 이미지 및 지표의 추가를 가능하게 하여 확장성을 지원한다.

실험 결과

연구 질문

• RQ1 표준화된 데이터셋과 평가 지표를 기반으로 기존 및 딥 러닝 기반 MEF 알고리즘이 어떻게 성능을 비교할 수 있는가?
• RQ2 다양한 평가 지표가 MEF 알고리즘의 순위를 얼마나 다를 수 있게 하는가?
• RQ3 상태 기술 성능을 주장함에도 불구하고 일부 딥 러닝 기반 MEF 방법이 전통적 방법을 능가하지 못하는 이유는 무엇인가?
• RQ4 딥 러닝 기반 MEF 방법에서 손실 함수의 선택이 다수의 평가 지표에서 성능과 어떻게 관련되는가?
• RQ5 통합된 벤치마크 플랫폼이 MEF 알고리즘 평가의 재현 가능성과 공정성에 크게 기여할 수 있는가?

주요 결과

• IFCNN와 같은 딥 러닝 기반 MEF 방법은 경쟁적인 성능를 보이지만, MEFNet과 MEFCNN와 같은 다른 방법들은 항상 전통적 방법을 능가하지는 않는다.
• 최적화 기반 방법인 MEFOpt는 상당히 느리며, 이미지 쌍당 약 419초가 소요되어 계산 병목 현상을 드러낸다.
• 모든 20개의 평가 지표에서 우월한 성능를 보이는 단일 MEF 알고리즘이 존재하지 않으며, 이는 성능가 지표 의존도가 높다는 것을 시사한다.
• MEF-SSIM 지표만으로는 딥 러닝 기반 MEF 모델의 평가가 부족하며, 다른 지표를 사용할 경우 성능가 크게 다를 수 있다.
• 벤치마크는 MTI와 GFF와 같은 기존 알고리즘이 여전히 높은 경쟁력을 유지하고 있음을 드러내어, 딥 러닝이 항상 우월한 결과를 낳는다는 가정을 도전한다.
• 특히 비기준 지표인 EN, FMI, QNCIE 등을 포함한 다수의 지표 통합은 보다 강력하고 종합적인 성능 평가를 가능하게 한다.