[논문 리뷰] FUSFORMER: A TRANSFORMER-BASED FUSION APPROACH FOR HYPERSPECTRAL IMAGE SUPER-RESOLUTION

Jinfan Hu|arXiv (Cornell University)|2021. 09. 05.

Advanced Image Fusion Techniques참고 문헌 35인용 수 6

한 줄 요약

이 논문은 저해상도 고분광영상(LR-HSI)과 고해상도 다중스펙트럼영상(HR-MSI) 간의 전반적인 공간-스펙트럼 상관관계를 포착하기 위해 자기주의 메커니즘을 활용하는 새로운 트랜스포머 기반 융합 네트워크인 Fusformer를 제안한다. 전체 HR-HSI를 직접 재구성하는 대신 잔차를 학습하는 방식으로, 단지 0.1백만 파라미터로도 최신 기술 수준의 성능을 달성하며, 계산 비용을 크게 줄이고 정확도를 향상시킨다.

ABSTRACT

Hyperspectral image has become increasingly crucial due to its abundant spectral information. However, It has poor spatial resolution with the limitation of the current imaging mechanism. Nowadays, many convolutional neural networks have been proposed for the hyperspectral image super-resolution problem. However, convolutional neural network (CNN) based methods only consider the local information instead of the global one with the limited kernel size of receptive field in the convolution operation. In this paper, we design a network based on the transformer for fusing the low-resolution hyperspectral images and high-resolution multispectral images to obtain the high-resolution hyperspectral images. Thanks to the representing ability of the transformer, our approach is able to explore the intrinsic relationships of features globally. Furthermore, considering the LR-HSIs hold the main spectral structure, the network focuses on the spatial detail estimation releasing from the burden of reconstructing the whole data. It reduces the mapping space of the proposed network, which enhances the final performance. Various experiments and quality indexes show our approach's superiority compared with other state-of-the-art methods.

연구 동기 및 목표

• 고분광영상 초해상도(HSI-SR)에서 컨볼루션 신경망(CNN) 기반 방법이 전반적인 공간-스펙트럼 상관관계를 포착하는 데에 한계가 있음을 해결하기 위해.
• 컨볼루션 연산보다 스펙트럼 및 공간 차원에서 장거리 의존성을 더 효과적으로 모델링하기 위해 트랜스포머의 자기주의 메커니즘을 활용하기 위해.
• 매핑 복잡성을 줄이기 위해 잔차 학습에 초점을 맞춤으로써 학습 안정성과 성능을 향상시키기 위해.
• 최소한의 파라미터와 높은 일반화 능력을 갖춘 실용적인 구현에 적합한 경량이고 효율적인 아키텍처를 개발하기 위해.

제안 방법

• 제안된 Fusformer는 다중헤드 자기주의를 활용한 트랜스포머 인코더를 사용하여 LR-HSI와 HR-MSI의 특징 간 전반적인 의존성을 모델링한다.
• 전체 HR-HSI를 직접 재구성하는 대신, 업샘플링된 LR-HSI와 진짜 HR-HSI 사이의 잔차를 예측하도록 네트워크를 훈련시킨다.
• 자기주의 메커니즘은 국소적 컨볼루션보다 스펙트럼 대역 및 공간 위치 간 장거리 비국소적 관계를 더 효과적으로 포착할 수 있도록 한다.
• 단순하고 파라미터 효율적인 아키텍처로, 총 0.1백만 파라미터만을 사용하여 실용성과 일반화 능력을 향상시킨다.
• 특징 융합을 네트워크의 초기 단계에서 수행하여 트랜스포머가 양측 입력 모odal의 보완 정보를 함께 고려할 수 있도록 한다.
• 시각적 손실과 표준 평가 지표인 PSNR, SAM, ERGAS, SSIM을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 전반적인 공간-스펙트럼 상관관계를 모델링함으로써 트랜스포머 기반 아키텍처가 기존의 CNN 기반 방법보다 고분광영상 초해상도에서 우월한 성능을 낼 수 있는가?
• RQ2 잔차 학습은 HSI 초해상도 네트워크의 성능와 안정성에 어떤 영향을 미치는가?
• RQ3 최소한의 파라미터를 가진 경량 트랜스포머 아키텍처가 다양한 데이터셋과 영상 유형에 대해 얼마나 잘 일반화되는가?
• RQ4 자기주의 메커니즘은 국소 수용장 기반 컨볼루션보다 HSI-SR에서 재구성 품질을 향상시키는가?
• RQ5 간단하고 파라미터 효율적인 트랜스포머 설계는 정확도를 희생시키지 않고 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CAVE 데이터셋에서 Fusformer는 PSNR 48.56을 기록하여, 훨씬 더 많은 파라미터를 가진 모든 최신 기술 수준의 방법들을 능가한다.
• Harvard 데이터셋에서 Fusformer는 PSNR 44.42를 기록하여 1위를 차지하며 강력한 일반화 능력을 입증한다.
• CAVE에서 Fusformer는 SAM(2.52)과 ERGAS(1.30) 값이 가장 낮아, 뛰어난 스펙트럼 유지성과 재구성 정확도를 보여준다.
• 제거 실험 결과 잔차 학습이 필수적임을 확인하였으며, 이를 제거하면 PSNR가 5.8 dB 이상 감소함으로써 안정성과 성능 향상에 기여하는 바가 크다는 점을 입증한다.
• 단지 0.1백만 파라미터를 가졌음에도 불구하고, 최대 363만 파라미터를 가진 모델들보다도 뛰어난 성능을 보이며 효율성과 효과성을 입증한다.
• 시각적 결과와 잔차 맵을 통해 Fusformer는 가장 정확하고 세밀한 재구성을 생성하며, 가장 어두운 잔차 맵을 보이며 최소한의 재구성 오차를 나타냄을 확인할 수 있다.