[논문 리뷰] Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution

Jing Yao, Danfeng Hong외 4명|arXiv (Cornell University)|2020. 07. 10.

Advanced Image Fusion Techniques참고 문헌 40인용 수 8

한 줄 요약

이 논문은 쌍방향 분해망과 교차 어텐션을 활용하여 다중스펙트럼 영상에서 공간 해상도를 향상시키는 새로운 비지도 초분광 슈퍼레졸루션 방법인 CUCaNet을 제안한다. 이중 스트림 오토에인코더를 통해 스펙트럼 및 공간 표현을 동시에 학습하고, 폐쇄형 루프 정규화를 통해 일관성을 강제함으로써, 기준 데이터셋에서 낮은 SAM 및 ERGAS 값으로 나타나는 스펙트럼 정확도 측면에서 최신 기술 수준을 달성한다.

ABSTRACT

The recent advancement of deep learning techniques has made great progress on hyperspectral image super-resolution (HSI-SR). Yet the development of unsupervised deep networks remains challenging for this task. To this end, we propose a novel coupled unmixing network with a cross-attention mechanism, CUCaNet for short, to enhance the spatial resolution of HSI by means of higher-spatial-resolution multispectral image (MSI). Inspired by coupled spectral unmixing, a two-stream convolutional autoencoder framework is taken as backbone to jointly decompose MS and HS data into a spectrally meaningful basis and corresponding coefficients. CUCaNet is capable of adaptively learning spectral and spatial response functions from HS-MS correspondences by enforcing reasonable consistency assumptions on the networks. Moreover, a cross-attention module is devised to yield more effective spatial-spectral information transfer in networks. Extensive experiments are conducted on three widely-used HS-MS datasets in comparison with state-of-the-art HSI-SR models, demonstrating the superiority of the CUCaNet in the HSI-SR application. Furthermore, the codes and datasets will be available at: https://github.com/danfenghong/ECCV2020_CUCaNet.

연구 동기 및 목표

• 쌍방향 학습 데이터가 필요 없는 비지도 초분광 영상 슈퍼레졸루션(HSI-SR) 문제에 도전한다.
• 수작업된 사전 지식, 외부 스펙트럼 반응 함수, 또는 복잡한 최적화 기법에 의존하는 기존 비지도 방법의 한계를 극복한다.
• 물리적으로 일관된 방식으로 스펙트럼 분해와 공간-스펙트럼 특징 전달을 동시에 모델링하는 딥러닝 프레임워크를 개발한다.
• 다중스펙트럼 및 초분광 센서 간에 알려지지 않은 점원형 분포 함수(PSFs)와 스펙트럼 반응 함수(SRFs)를 종단간(end-to-end)으로 학습한다.
• 분기 간 공간-스펙트럼 정보 교환을 향상시키기 위해 교차 어텐션 메커니즘을 통합하여 재구성 품질을 향상시킨다.

제안 방법

• 다중스펙트럼(MS) 및 초분광(HS) 영상을 동일한 스펙트럼 기저와 공간적으로 변화하는 계수로 동시에 분해할 수 있는 이중 스트림 컨volution 오토에인코더를 설계한다.
• MS 및 HS 분기 간 동적이고 적응적인 특징 전달을 가능하게 하는 교차 어텐션 모듈을 도입하여 공간-스펙트럼 표현 학습을 향상시킨다.
• 해결 공간과 스펙트럼 영역 양쪽에서 폐쇄형 루프 일관성 정규화를 강제하여 해의 공간을 축소하고 최적화 안정성을 향상시킨다.
• 센서 특성에 대한 사전 지식에 의존하지 않고 데이터에서 종단간으로 알려지지 않은 PSFs와 SRFs를 학습한다.
• 지표 고해상도 초분광 영상이 필요 없이 동일한 장면의 MS 및 HS 영상 쌍만을 사용하여 네트워크를 비지도로 훈련한다.
• 픽셀 단위 및 스펙트럼 일관성 기반 복원 손실을 최적화에 사용하며, 물리적 타당성을 유지하기 위한 추가 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 교차 어텐션을 갖춘 쌍방향 분해망이 쌍방향 학습 데이터 없이도 비지도 HSI-SR 성능을 향상시킬 수 있는가?
• RQ2 제안된 교차 어텐션 메커니즘이 표준 어텐션 또는 연결(concatenation)에 비해 공간-스펙트럼 특징 융합에 얼마나 효과적인가?
• RQ3 네트워크가 MS 및 HS 센서 간에 알려지지 않은 PSFs와 SRFs를 종단간 방식으로 얼마나 잘 학습할 수 있는가?
• RQ4 폐쇄형 루프 일관성 정규화가 최적화 수렴성과 재구성 품질에 실제로 유의미한 영향을 미치는가?
• RQ5 스펙트럼 및 공간 정확도 측면에서 CUCaNet은 최신 기술 수준의 지도 및 비지도 HSI-SR 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• Pavia University 데이터셋에서 CUCaNet은 최고의 PSNR(37.22)와 가장 낮은 SAM(4.43°)을 기록하여, MHFnet 및 uSDN을 포함한 모든 경쟁 방법을 압도한다.
• Chikusei 데이터셋에서 CUCaNet은 PSNR 42.70, SAM 3.13°을 기록하여, PSNR는 더 높지만 스펙트럼 정확도가 떨어지는 MHFnet(PSNR: 43.71, SAM: 3.51°)에 비해 뚜렷한 스펙트럼 정확도 향상을 보였다.
• Pavia University에서 CUCaNet은 ERGAS 0.82를 기록했으며, Chikusei에서는 0.40을 기록하여 전체 재구성 품질 향상과 상대 오차 감소를 나타내었다.
• Pavia University에서 SSIM 및 UQI 값이 각각 0.914와 0.991, Chikusei에서는 0.988과 0.990로 모든 방법 중 최고를 기록하여, 강력한 시각적 및 구조적 일관성을 확인했다.
• 잔차 영상의 시각적 분석 결과, CUCaNet은 특히 미세한 공간적 및 스펙트럼적 세부 정보에서 가장 정확한 결과를 생성하며 최소한의 오차 패tern을 보였다.
• 제거 실험 결과, 교차 어텐션 모듈과 일관성 정규화가 성능 향상에 핵심 요소임을 입증하였으며, 이 중 하나를 제거할 경우 지표가 유의미하게 감소하였다.