[논문 리뷰] TGFuse: An Infrared and Visible Image Fusion Approach Based on Transformer and Generative Adversarial Network

Dongyu Rao, Xiao‐Jun Wu외 1명|arXiv (Cornell University)|2022. 01. 25.

Advanced Image Fusion TechniquesEngineering인용 수 18

한 줄 요약

이 논문은 경량 트랜스포머 모듈을 활용한 전역 특징 모델링과 생성적 적대적 네트워크(GANs)를 결합하여 융합 품질을 향상시키는 적외선 및 가시광선 영상 융합 방법인 TGFuse를 제안한다. 트랜스포머 기반 융합 모듈에서 교차 채널 및 공간 주의 메커니즘을 활용하고, 이중 판별자로 모odal별 세부 정보를 유지함으로써 TGFuse는 주관적 및 객관적 평가에서 모두 최신 기술 수준의 성능을 달성하며, 여러 벤치마크 지표에서 기존 방법들을 능가한다.

ABSTRACT

The end-to-end image fusion framework has achieved promising performance, with dedicated convolutional networks aggregating the multi-modal local appearance. However, long-range dependencies are directly neglected in existing CNN fusion approaches, impeding balancing the entire image-level perception for complex scenario fusion. In this paper, therefore, we propose an infrared and visible image fusion algorithm based on a lightweight transformer module and adversarial learning. Inspired by the global interaction power, we use the transformer technique to learn the effective global fusion relations. In particular, shallow features extracted by CNN are interacted in the proposed transformer fusion module to refine the fusion relationship within the spatial scope and across channels simultaneously. Besides, adversarial learning is designed in the training process to improve the output discrimination via imposing competitive consistency from the inputs, reflecting the specific characteristics in infrared and visible images. The experimental performance demonstrates the effectiveness of the proposed modules, with superior improvement against the state-of-the-art, generalising a novel paradigm via transformer and adversarial learning in the fusion task.

연구 동기 및 목표

• 적외선 및 가시광선 영상 융합에서 CNN 기반 융합 방법이 장거리 공간적 및 채널 간 의존성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 다중 모odal 영상 융합에 맞춤형으로 설계된 경량 트랜스포머 모듈을 통해 전역적 맥락 모델링을 통합하여 융합 품질을 향상시키기 위해.
• 모달 특성에 특화된 특징을 유지하는 적대적 학습을 통합하여 융합 영상의 구분 능력을 향상시키기 위해.
• 트랜스포머와 GAN의 강점을 융합한 새로운 엔드 투 엔드 융합 프레임워크를 구축하여 비지도 영상 융합 작업에 활용하기 위해.
• 체계적인 아블레이션 연구와 벤치마크 비교를 통해 제안된 아키텍처의 유효성을 검증하기 위해.

제안 방법

• 특징 맵 내 채널 간 관계를 모델링하기 위해 채널-토큰 트랜스포머가 도입되어 공간적 및 채널 간 융합 학습을 동시에 가능하게 한다.
• 이미지 전반에 걸쳐 장거리 공간적 의존성을 포착하기 위해 공간 트랜스포머 모듈이 설계되어 전역 융합 표현을 향상시킨다.
• 복합 트랜스포머 융합 모듈은 공간적 및 채널 간 주의를 통합하여 모달 특화 특징 간의 특징 상호작용을 정밀하게 개선한다.
• 적대적 학습은 두 개의 판별자(적외선-융합 영상 간 비교 및 가시광선-융합 영상 간 비교)를 사용하여 입력 모달 특성에 대한 충실도를 강제로 확보한다.
• 초기 특징 추출을 위해 잔차 블록을 포함한 경량 인코더-디코더 네트워크를 사용한 후, 트랜스포머 융합 모듈을 적용한다.
• 유도 편향을 줄이기 위해 트랜스포머에서 위치 임베딩을 생략하였으며, 아블레이션 연구에서 성능 저하가 발생함을 확인하였다.

실험 결과

연구 질문

• RQ1 경량 트랜스포머 모듈이 적외선 및 가시광선 영상 융합에서 장거리 공간적 및 채널 간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 비지도 설정에서 적대적 학습은 융합 영상의 주관적 품질과 모달 충실도를 어떻게 향상시키는가?
• RQ3 영상 융합 성능을 고려할 때 트랜스포머 레이어 수, CNN 깊이, 특징 채널 수의 최적 조합은 무엇인가?
• RQ4 이 작업에서 트랜스포머에서 위치 임베딩을 제거하면 융합 성능에 유익한가, 아니면 해로운가?
• RQ5 개별 구성 요소(공간, 채널, 적대적 모듈)가 아블레이션된 변형 대비 전체 융합 품질에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 TGFuse 방법은 최신 기술 수준의 방법들과 비교해 모든 객관적 평가 지표에서 뛰어난 성능을 달성하였으며, 여러 벤치마크에서 일관된 향상이 관찰되었다.
• 아블레이션 연구 결과, 채널 트랜스포머를 먼저 적용한 후 공간 트랜스포머를 적용하는 순서가 가장 우수한 융합 결과를 도출하였으며, 개별 또는 반대 순서의 구성보다 성능이 뛰어났다.
• 트랜스포머 모듈에서 위치 임베딩을 제거하면 성능 향상이 이루어졌으며, 이는 이 작업에 있어서 위치 편향이 유리하지 않음을 시사한다.
• 최적의 트랜스포머 인코더 레이어 수는 네 개이며, 세 개 이하일 경우 의미 있는 융합 관계를 학습하지 못하고, 다섯 개 이상일 경우 부족한 레이어 수가 초래하는 데드락 현상이 발생하여 성능이 저하된다.
• CNN의 잔차 블록 수가 네 개인 경우 최적의 특징 표현을 도출하며, 더 깊은 네트워크는 과도한 다운샘플링으로 인해 의미 없는 검은 색 출력을 유도한다.
• 융합 네트워크의 최적의 특징 채널 수는 64로 아블레이션을 통해 도출되었으며, 다른 값은 평가 지표에서 열등한 성능을 보였다.