[논문 리뷰] Spectral-Spatial Contrastive Learning Framework for Regression on Hyperspectral Data

Mohamad Dhaini, Paul Honeine외 2명|arXiv (Cornell University)|2026. 02. 11.

Remote-Sensing Image Classification인용 수 0

한 줄 요약

모델-무관 스펙트럴-공간 대조 학습 프레임워크를 사용한 하이퍼스펙트럴 회귀로, 3D 백본(CNN 또는 트랜스포머)과 회귀 헤드를 결합하고 스펙트럴 및 공간 증강을 사용하여 합성 데이터와 실제 데이터에서 성능을 향상시킵니다.

ABSTRACT

Contrastive learning has demonstrated great success in representation learning, especially for image classification tasks. However, there is still a shortage in studies targeting regression tasks, and more specifically applications on hyperspectral data. In this paper, we propose a spectral-spatial contrastive learning framework for regression tasks for hyperspectral data, in a model-agnostic design allowing to enhance backbones such as 3D convolutional and transformer-based networks. Moreover, we provide a collection of transformations relevant for augmenting hyperspectral data. Experiments on synthetic and real datasets show that the proposed framework and transformations significantly improve the performance of all studied backbone models.

연구 동기 및 목표

• 하이퍼스펙트럴 데이터에서 라벨 샘플이 드문 회귀 문제의 도전을 해결한다.
• 하이퍼스펙트럴 입력에 맞춘 스펙트럴-스페이셜 증강 도구 상자를 도입한다.
• 3D-CNN 및 트랜스포머 백본과 호환되는 프레임워크를 제안하여 강화된 표현을 학습한다.
• 합성 데이터 및 실제 하이퍼스펙트럴 데이터셋(토양 오염 예측 포함)에서 프레임워크의 효과를 보여준다.

제안 방법

• 하이퍼스펙트럴 큐브를 패치로 처리하여 로컬 스펙트럴-공간 정보를 포착한다.
• 원본 패치와 증가된 패치에서 특징을 추출하기 위해 공유된 3D 백본(3D-CNN 또는 트랜스포머)을 사용한다.
• 회귀 손실과 유사한 회귀 타깃을 가진 뷰를 함께 끌어들이는 대조 손실을 결합한 공동 목적 함수로 학습한다.
• 회귀 레이블 공간에서 반경 기반 기준(|y^i − y^j| ≤ r)을 사용하여 양의 쌍을 정의한다.
• 스펙트럼 이동, 스펙트럼 뒤집기, Hapke 산란, 대기 보정, 탄성 왜곡, 밴드 제거, 밴드 치환 및 최근접 이웃 혼합을 포함한 스펙트럴-스페이셜 증강 도구 상자를 적용하고, 회전, 탄성 변형, 뒤집기, 평행이동 등의 표준 공간 증강을 더한다.
• L_total = L_R + α L_Contrastive로 최적화하며 L_R은 평균 제곱 회귀 오차, L_Contrastive는 증가된 뷰에 대해 코사인 유사도 기반 대조 손실이다.

Fig. 1 : Architecture of the proposed framework.

실험 결과

연구 질문

• RQ1 스펙트럴-스페이셜 대조 학습이 백본에 관계없이 하이퍼스펙트럴 데이터에서 회귀 성능을 향상시킬 수 있는가?
• RQ2 스펙트럴, 공간 및 이들의 조합 증강이 하이퍼스펙트럴 회귀의 성능 향상에 어떤 기여를 하는가?
• RQ3 프레임워크가 합성 및 실제 데이터셋(예: Samson)에서 그리고 서로 다른 3D 백본(CNN 및 트랜스포머)에서 효과적인가?
• RQ4 회귀 중심 대조 학습에서 반경 기반 양의 쌍 선택의 영향은 무엇인가?

주요 결과

• 프레임워크가 합성 데이터에서 여러 3D 백본에 대해 기준 모델보다 회귀 성능을 향상시킨다.
• 스펙트럼 우선의 증강이 그 다음 공간 증강으로 이어지고(특히 이들의 조합이) 각 백본에 대해 최상의 회귀 지표를 제공한다.
• 스펙트럴-스페이셜 트랜스포머 백본이 합성 데이터와 실제 데이터(Samson) 모두에서 tested 아키텍처 중 최상의 결과를 달성한다.
• 대조 학습은 다양한 스펙트럼 및 공간 섭동 하에서 견고한 이점을 제공하여 하이퍼스펙트럴 회귀를 위한 증강 도구의 가치를 입증한다.
• USGS 엔드멤버 및 Samson 실제 데이터셋으로 합성 데이터에서의 데모를 통해 baselines 대비 R^2 및 MAE에서 일관된 개선을 보인다.

Fig. 2 : Original (blue) and transformed (orange) examples from real spectral data.