[논문 리뷰] Deep Hyperspectral Unmixing using Transformer Network

Preetam Ghosh, Swalpa Kumar Roy외 3명|arXiv (Cornell University)|2022. 03. 31.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

이 논문은 장거리 스펙트럼 상관관계를 포착하기 위해 컨volutional autoencoder와 transformer 기반 인코더를 결합한 새로운 딥 하이퍼스펙트럴 언믹싱 모델을 제안한다. 이는 엔드멤버 추정 및 약물 지도 정확도를 크게 향상시킨다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 기존 방법보다 RMSE 및 스펙트럼 각도 거리(SAD) 지표에서 뛰어난 성능을 보였다.

ABSTRACT

Currently, this paper is under review in IEEE. Transformers have intrigued the vision research community with their state-of-the-art performance in natural language processing. With their superior performance, transformers have found their way in the field of hyperspectral image classification and achieved promising results. In this article, we harness the power of transformers to conquer the task of hyperspectral unmixing and propose a novel deep unmixing model with transformers. We aim to utilize the ability of transformers to better capture the global feature dependencies in order to enhance the quality of the endmember spectra and the abundance maps. The proposed model is a combination of a convolutional autoencoder and a transformer. The hyperspectral data is encoded by the convolutional encoder. The transformer captures long-range dependencies between the representations derived from the encoder. The data are reconstructed using a convolutional decoder. We applied the proposed unmixing model to three widely used unmixing datasets, i.e., Samson, Apex, and Washington DC mall and compared it with the state-of-the-art in terms of root mean squared error and spectral angle distance. The source code for the proposed model will be made publicly available at \url{https://github.com/preetam22n/DeepTrans-HSU}.

연구 동기 및 목표

• 하이퍼스펙트럴 언믹싱에서 CNN 기반 모델이 장거리 스펙트럼 상관관계를 포착하는 데 한계를 가진다는 문제를 해결하기 위해.
• 매우 혼합된 하이퍼스펙트럴 데이터에서 엔드멤버 추출 및 약물 지도 추정 정확도를 향상시키기 위해.
• 트랜스포머의 자기주의 메커니즘을 활용하여 국소 수용장 이외의 전역적 특징 관계를 모델링하기 위해.
• 엔드멤버와 약물을 동시에 최적화하는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 다양한 실제 하이퍼스펙트럴 데이터셋(복잡도가 상이함)에서 모델의 강건성과 일반화 능력을 검증하기 위해.

제안 방법

• 모델은 하이퍼스펙트럴 데이터에서 국소적 공간-스펙트럼 특징을 추출하기 위해 컨볼루션 인코더를 사용한다.
• 스펙트럼 대역 간 장거리 상관관계를 모델링하기 위해 멀티헤드 자기패치 어텐션을 적용한 트랜스포머 기반 인코더를 적용한다.
• 잠재 표현에서 하이퍼스펙트럴 데이터를 재구성하기 위해 역전치 컨볼루션 네트워크인 디코더를 사용한다.
• 데이터 일관성(재구성 오차)과 기하학적 정규화 항을 조합한 손실 함수를 사용하여 비음성 및 합이 1이 되는 약물 제약 조건을 강제한다.
• 최적화 목표로 평균 제곱오차와 스펙트럼 각도 거리를 조합하여 엔드-투-엔드로 모델을 훈련시킨다.
• 정규화 강도 γ, 학습률, 가중치 감쇠와 같은 하이퍼파rameter는 그리드 서치를 통해 성능 최적화를 위해 조정된다.

실험 결과

연구 질문

• RQ1 CNN이 달성할 수 있는 것 이상으로 장거리 스펙트럼 상관관계를 포착함으로써 트랜스포머 기반 아키텍처가 하이퍼스펙트럴 언믹싱 성능을 향상시킬 수 있는가?
• RQ2 다양한 데이터셋에서 최신 기술 수준 방법과 비교해 볼 때, 제안된 모델은 엔드멤버 추정 정확도 및 약물 지도 품질 측면에서 어떻게 성능을 내는가?
• RQ3 γ, 학습률, 가중치 감쇠와 같은 핵심 하이퍼파rameter가 모델의 언믹싱 성능에 미치는 영향은 어떠한가?
• RQ4 VCA 초기화 엔드멤버와 트랜스포머 정밀 조정 메커니즘의 통합이 더 나은 수렴과 낮은 스펙트럼 각도 거리를 유도하는가?
• RQ5 스펙트럼 혼합 수준과 복잡도가 상이한 데이터셋 간에도 모델이 잘 일반화되는가?

주요 결과

• 제안된 모델은 Samson, Apex, Washington DC Mall 세 가지 벤치마크 데이터셋에서 모두 기존 최신 기술 수준 방법을 능가하는 최저의 RMSE 및 SAD 값을 기록했다.
• 모델은 약물 지도에서 뛰어난 시각적 일관성을 보였으며, '물'과 '도로'와 같은 도전적인 엔드멤버를 가장 정확하게 표현했다.
• 트랜스포머 인코더에 사용된 멀티헤드 자기패치 어텐션 덕분에 장거리 스펙트럼 상관관계를 더 잘 포착할 수 있었고, 이는 더 정확한 엔드멤버 스펙트럼을 이끌어냈다.
• 민감도 분석 결과, 최적의 성능은 γ가 1×10⁻⁴에서 1×10⁻² 범위에서 달성되었으며, 엔드멤버 수가 많은 데이터셋에서는 낮은 값이 선호되었다.
• 최적의 학습률은 0.006에서 0.009 사이였고, 최적의 가중치 감쇠는 약 3×10⁻⁵였으며, 이 값 이상일 경우 성능이 급격히 악화되었다.
• 모델은 모든 엔드멤버에서 일관된 성능을 유지했으며, NMF, FCLSU, Collab와 같은 방법에서 관찰된 특정 물질에서의 성능 저하 문제를 피했다.