[논문 리뷰] MFFW: A new dataset for multi-focus image fusion

Shuang Xu, Xiaoli Wei외 3명|arXiv (Cornell University)|2020. 02. 12.

Advanced Image Fusion Techniques참고 문헌 37인용 수 56

한 줄 요약

이 논문은 defocus spread 효과가 있는 실제 세계의 다초점 이미지 융합 데이터셋 MFFW를 소개하고, 19쌍의 소스 이미지와 2-소스 케이스의 ground-truth 맵을 포함하며, 13개의 SOTA 방법을 평가하여 현재 방법이 DSE가 풍부한 장면에서 어려움을 겪고 있음을 보여준다.

ABSTRACT

Multi-focus image fusion (MFF) is a fundamental task in the field of computational photography. Current methods have achieved significant performance improvement. It is found that current methods are evaluated on simulated image sets or Lytro dataset. Recently, a growing number of researchers pay attention to defocus spread effect, a phenomenon of real-world multi-focus images. Nonetheless, defocus spread effect is not obvious in simulated or Lytro datasets, where popular methods perform very similar. To compare their performance on images with defocus spread effect, this paper constructs a new dataset called MFF in the wild (MFFW). It contains 19 pairs of multi-focus images collected on the Internet. We register all pairs of source images, and provide focus maps and reference images for part of pairs. Compared with Lytro dataset, images in MFFW significantly suffer from defocus spread effect. In addition, the scenes of MFFW are more complex. The experiments demonstrate that most state-of-the-art methods on MFFW dataset cannot robustly generate satisfactory fusion images. MFFW can be a new baseline dataset to test whether an MMF algorithm is able to deal with defocus spread effect.

연구 동기 및 목표

• 실세계에서의 defocus spread effect(DSE) 하에서 다초점 이미지 융합(MFF)을 평가의 필요성을 제기한다.
• 강력한 벤치마킹을 위한 도전적인 실세계 MFF 쌍과 주석이 달린 초점 맵을 포함한 새로운 데이터셋(MFFW)을 제공한다.
• DSE가 풍부한 데이터에서 고전적 및 딥러닝 MFF 방법의 성능을 평가한다.
• 현재 방법의 한계를 강조하고 DSE 인식 융합 방법의 개발을 촉진한다.

제안 방법

• 인터넷에서 19쌍의 다초점 이미지 쌍을 수집하여 MFFW를 구성하고, 13쌍은 2-소스, 6쌍은 다-소스로 구성한다.
• 소스 이미지 쌍을 정합하고 2-소스 쌍에 대해 LabelMe를 이용한 수동 주석으로 ground-truth 초점 맵을 제공한다.
• 사람의 시각 인식에 맞도록 보정된 2-소스 쌍의 참조 이미지를 제공한다.
• 참조 없는 융합 지표를 사용하여 MFFW에서 13개의 SOTA 방법(9개 고전, 4개 DL 기반)을 평가한다.
• DL 실험에서 NYU Depth V1에서 MMF-Net을 학습시켜 defocus 기반의 훈련 데이터를 합성하고 초점 맵을 생성한다.
• 융합 품질을 평가하기 위해 11개의 비참조 지표(MI, TE, NCIE, GBM, SF, SSBM, CBM, LIF, AG, MSD, GLD)를 사용한다.

실험 결과

연구 질문

• RQ1 현행 MFF 방법이 실세계에서 defocus spread 효과를 견고하게 처리할 수 있는가?
• RQ2 MFFW 데이터셋에서 딥러닝 MFF 모델이 고전적 변환/공간 영역 방법보다 우수한가?
• RQ3 DSE 하에서 2-소스와 다-소스(3개 이상) MFF 작업 간 성능 차이는 어떻게 나타나는가?
• RQ4 DSE 하에서 MFF 방법 평가에서 ground-truth 초점 맵과 참조 이미지의 한계는 무엇인가?

주요 결과

• 대부분의 최첨단 방법이 MFFW에서 만족스러운 융합 이미지를 견고하게 생성하는 데 실패한다.
• DL 기반 모델이 MFFW 데이터셋에서 고전 방법에 비해 명확한 우위를 보이지 않는다.
• MMF-Net은 과적합에 시달리거나 일부 쌍에서 작동을 중단할 수 있다.
• 시뮬레이션 데이터로 학습한 DL 모델은 실제 세계의 DSE가 풍부한 장면에 일반화되지 않을 수 있다.
• MFFW는 MMF 알고리즘이 DSE를 다룰 수 있는지 테스트하는 새로운 벤치마크 역할을 한다.
• 융합 결과는 DSE로 인해 아티팩트나 잘못된 초점 경계 처리 문제가 자주 발생한다.