[논문 리뷰] Efficient and Model-Based Infrared and Visible Image Fusion Via Algorithm Unrolling

Zixiang Zhao, Shuang Xu외 4명|arXiv (Cornell University)|2020. 05. 12.

Advanced Image Fusion Techniques참고 문헌 51인용 수 6

한 줄 요약

이 논문은 알고리즘 언롤링을 통해 모델 기반 딥러닝 프레임워크인 AUIF를 제안한다. 기존의 반복 최적화 모델을 별도의 인코더를 갖춘 학습 가능한 CNN으로 전환하고 공유 디코더를 사용함으로써, AUIF는 더 적은 파라미터(11.63k)와 더 빠른 추론(ТНО에서 평균 2.98초)으로 최신 기술 수준(SOTA)의 융합 성능를 달성한다. 이는 정성적 및 정량적 지표에서 기존 방법들을 능가한다.

ABSTRACT

Infrared and visible image fusion (IVIF) expects to obtain images that retain thermal radiation information from infrared images and texture details from visible images. In this paper, a model-based convolutional neural network (CNN) model, referred to as Algorithm Unrolling Image Fusion (AUIF), is proposed to overcome the shortcomings of traditional CNN-based IVIF models. The proposed AUIF model starts with the iterative formulas of two traditional optimization models, which are established to accomplish two-scale decomposition, i.e., separating low-frequency base information and high-frequency detail information from source images. Then the algorithm unrolling is implemented where each iteration is mapped to a CNN layer and each optimization model is transformed into a trainable neural network. Compared with the general network architectures, the proposed framework combines the model-based prior information and is designed more reasonably. After the unrolling operation, our model contains two decomposers (encoders) and an additional reconstructor (decoder). In the training phase, this network is trained to reconstruct the input image. While in the test phase, the base (or detail) decomposed feature maps of infrared/visible images are merged respectively by an extra fusion layer, and then the decoder outputs the fusion image. Qualitative and quantitative comparisons demonstrate the superiority of our model, which can robustly generate fusion images containing highlight targets and legible details, exceeding the state-of-the-art methods. Furthermore, our network has fewer weights and faster speed.

연구 동기 및 목표

• 데이터 기반 CNN의 단점을 해결하기 위해, 특히 해석 가능성 부족과 경험적 아키텍처 설계에 의존하는 문제를 해결하고자 한다.
• 기존 최적화 모델에서 유도된 모델 기반 사전 지식을 딥러닝 프레임워크에 통합하여 더 나은 해석 가능성과 성능 향상을 도모하고자 한다.
• 열복사 및 공간 세부 정보를 잘 보존하는 경량, 효율적이고 강건한 IVIF 방법을 개발하고자 한다.
• 네트워크 복잡도와 추론 시간을 줄이되, 융합 품질은 유지 또는 향상시키고자 한다.

제안 방법

• 기본 특징(저주파수)과 세부 특징(고주파수)을 위한 두 가지 기존 최적화 모델을 기반으로 이중 척도 분해를 수행한다.
• 알고리즘 언롤링을 적용하여 각 최적화 반복 단계를 학습 가능한 CNN 레이어로 변환하고, 전체 모델을 미분 가능한 신경망으로 전환한다.
• 네트워크 아키텍처는 기본 특징과 세부 특징을 위한 두 개의 인코더와 공유 디코더로 구성되며, 기존 최적화 모델에서 유도된 학습 가능한 계수를 사용한다.
• 학습 중에는 입력 이미지를 정확히 재구성하기 위해 ℓ₂ 및 SSIM 손실 함수의 조합을 사용하여 네트워크를 최적화한다.
• 추론 시에는 인프라레드 및 가시광선 이미지의 기본 및 세부 특징 맵을 별도로 학습 가능한 융합 레이어를 통해 융합한 후, 디코더에 의해 재구성한다.
• 레이어 수(반복 수)와 융합 전략은 기준 데이터셋에서의 검증을 통해 결정된다.

실험 결과

연구 질문

• RQ1 알고리즘 언롤링은 기존 모델 기반 최적화와 딥러닝 간의 효과적인 다리를 놓을 수 있는가?
• RQ2 CNN 아키텍처에 모델 사전 지식을 통합하면 융합 성능와 효율성이 향상되는가?
• RQ3 더 적은 파라미터를 가진 경량 네트워크가 기존 딥러닝 기반 IVIF 방법을 능가할 수 있는가?
• RQ4 제안된 방법은 정렬이 어긋나거나 조도가 낮은 이미지에 대해 어떻게 대처하는가?

주요 결과

• AUIF는 TNO, FLIR, NIR 데이터셋에서 최신 기술 수준의 성능를 달성하였으며, 정성적 및 정량적 평가에서 항상 기존 방법들을 능가한다.
• TNO 데이터셋에서 평균 추론 시간이 2.98초로, CSR(2119.32초) 및 ImageFuse(149.83초)와 같은 많은 기준 방법들보다 뚜렷하게 빠르다.
• 학습 가능한 파라미터 수가 단지 11.63k로, DenseFuse(74.19k) 및 FusionGan(925.63k)에 비해 훨씬 파라미터 효율성이 뛰어나다.
• 저조도 또는 이미지 정렬 오류와 같은 도전적인 조건에서도 명확한 목표 강조 및 읽기 쉬운 세부 정보를 가진 융합 이미지를 생성한다.
• 절단 실험을 통해 별도의 인코더와 융합 레이어 전략의 합리성이 확인되었다.