[논문 리뷰] TransMEF: A Transformer-Based Multi-Exposure Image Fusion Framework using Self-Supervised Multi-Task Learning

Linhao Qu, Shaolei Liu외 2명|arXiv (Cornell University)|2021. 12. 02.

Image Enhancement Techniques인용 수 13

한 줄 요약

TransMEF는 지도 학습을 위한 진짜 융합 이미지가 필요로 하지 않는 대규모 자연 이미지 데이터셋에서 자기지도 다중작업 학습을 사용하여 트랜스포머 기반의 다중 노출 이미지 융합 프레임워크를 제안한다. 인코더에서 CNN과 트랜스포머 모듈을 조합하고 세 가지 자기지도 재구성 작업을 적용하여 최신 기준 데이터셋에서 객관적 평가와 주관적 평가 모두에서 최고 성능을 달성한다.

ABSTRACT

In this paper, we propose TransMEF, a transformer-based multi-exposure image fusion framework that uses self-supervised multi-task learning. The framework is based on an encoder-decoder network, which can be trained on large natural image datasets and does not require ground truth fusion images. We design three self-supervised reconstruction tasks according to the characteristics of multi-exposure images and conduct these tasks simultaneously using multi-task learning; through this process, the network can learn the characteristics of multi-exposure images and extract more generalized features. In addition, to compensate for the defect in establishing long-range dependencies in CNN-based architectures, we design an encoder that combines a CNN module with a transformer module. This combination enables the network to focus on both local and global information. We evaluated our method and compared it to 11 competitive traditional and deep learning-based methods on the latest released multi-exposure image fusion benchmark dataset, and our method achieved the best performance in both subjective and objective evaluations.

연구 동기 및 목표

• 딥 러닝 기반 MEF 방법에서 대규모 다중 노출 데이터셋의 부족과 진짜 융합 이미지의 희소성 문제를 해결하기 위해.
• 이미지 융합 작업에서 CNN의 장거리 의존성 모델링 능력의 한계를 극복하기 위해.
• 자기지도 재구성 작업을 통해 대규모 자연 이미지 데이터셋에서 학습하여 특징의 일반화 능력과 강건성을 향상시키기 위해.
• 실제 융합 레이블이 없는 지도 학습에 의존하지 않고도 다중 노출 이미지 융합에서 최고 성능을 달성하기 위해.

제안 방법

• 프레임워크는 ImageNet과 MS-COCO에서 자기지도 다중작업 학습을 통해 훈련된 인코더-디코더 아키텍처를 사용한다.
• 다중 노출 이미지의 특성에 기반하여 세 가지 자기지도 재구성 작업을 설계하였다: 밝기 재구성, 텍스처 재구성, 에지 보존.
• 인코더는 국소적 특징 추출을 위한 CNN 모듈과 장거리 의존성을 모델링하기 위한 비전 트랜스포머 모듈을 통합한다.
• 융합 과정은 두 개의 소스 이미지를 인코딩하고, 그들의 특징 맵을 융합한 후 디코딩하여 최종 융합 이미지를 생성하는 방식이다.
• 다중작업 학습은 세 가지 재구성 작업을 동시에 최적화하여 특징 학습과 일반화 능력을 향상시킨다.
• 네트워크는 자연 이미지에서 사전 훈련하고, 짝이 맞는 진짜 융합 레이블 없이 MEF 기준 데이터셋에서 미세 조정한다.

실험 결과

연구 질문

• RQ1 진짜 융합 이미지가 없는 조건에서 자기지도 다중작업 학습이 다중 노출 이미지 융합 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 인코더에 CNN과 트랜스포머 모듈을 조합함으로써 국소적 및 전역적 이미지 의존성을 모두 포착하여 성능 향상을 이룰 수 있는가?
• RQ3 제안된 재구성 작업이 자연 이미지 데이터셋에서의 특징 학습과 일반화 능력을 향상시켜 후속 MEF 작업에 기여할 수 있는가?
• RQ4 최근 기준 데이터셋에서 객관적 지표와 시각적 품질 측면에서 제안된 방법이 최고 성능 기반 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• TransMEF는 최신 다중 노출 이미지 융합 기준 데이터셋에서 주관적 평가와 객관적 평가 모두에서 비교한 12개 방법 중 최고 성능을 달성한다.
• PSNR, SSIM, VIF, Q^A/BF, Q^G를 포함한 12개의 객관적 지표에서 모든 11개의 경쟁 기반 전통적 및 딥 러닝 기반 방법을 압도적으로 앞서간다.
• 시각적 비교 결과, TransMEF는 실외 및 실내 환경에서 모두 최적의 밝기, 대비 및 세부 정보 보존을 유지하며, DWT, DeepFuse, U2Fusion 등의 방법보다 뛰어난 성능을 보였다.
• 자기지도 재구성 작업은 특징 학습을 크게 향상시켜 진짜 레이블 없이도 대규모 자연 이미지 데이터셋에서 효과적인 사전 훈련을 가능하게 했다.
• 하이브리드 CNN-트랜스포머 인코더는 더 나은 장거리 의존성 모델링을 가능하게 하여 더 일관되고 현실적으로 보이는 융합 이미지를 생성했다.
• 프레임워크는 강력한 일반화 능력과 강건성을 보였으며, 실제 융합 레이블로의 미세 조정 없이도 SOTA 성능을 달성했다.