[논문 리뷰] SPECIAL: Zero-shot Hyperspectral Image Classification With CLIP

Pang Li, Jing Yao외 4명|ArXiv.org|2025. 01. 27.

Remote-Sensing Image Classification인용 수 9

한 줄 요약

SPECIAL은 CLIP를 기반으로 한 제로샷 초분광 이미지 분류 프레임워크로, 해상도 스케일링 전략이 있는 CLIP 기반 의사 라벨 생성과 스펙트럼 정보를 활용하고 GMM 기반 라벨 정제를 사용하는 노이즈 라벨 학습 단계를 포함합니다.

ABSTRACT

Hyperspectral image (HSI) classification aims to categorize each pixel in an HSI into a specific land cover class, which is crucial for applications such as remote sensing, environmental monitoring, and agriculture. Although deep learning-based HSI classification methods have achieved significant advancements, existing methods still rely on manually labeled data for training, which is both time-consuming and labor-intensive. To address this limitation, we introduce a novel zero-shot hyperspectral image classification framework based on CLIP (SPECIAL), aiming to eliminate the need for manual annotations. The SPECIAL framework consists of two main stages: (1) CLIP-based pseudo-label generation, and (2) noisy label learning. In the first stage, HSI is spectrally interpolated to produce RGB bands. These bands are subsequently classified using CLIP, resulting in noisy pseudo-labels that are accompanied by confidence scores. To improve the quality of these labels, we propose a scaling strategy that fuses predictions from multiple spatial scales. In the second stage, spectral information and a label refinement technique are incorporated to mitigate label noise and further enhance classification accuracy. Experimental results on three benchmark datasets demonstrate that our SPECIAL outperforms existing methods in zero-shot HSI classification, showing its potential for more practical applications. The code is available at https://github.com/LiPang/SPECIAL.

연구 동기 및 목표

• 수작업으로 주석된 데이터에 대한 의존성을 줄이기 위해 제로샷 초분광 이미지 분류를 추진한다.
• spectral 데이터를 이용해 HSIs의 RGB 대역을 시뮬레이션하여 CLIP로 의사 라벨을 생성한다.
• 의사 라벨의 잡음을 완화하고 정확도를 향상시키기 위해 스펙트럼 정보와 강건한 라벨 정제를 도입한다.
• 여러 초분광 데이터셋에서 기존의 CLIP 기반 방법보다 우수함을 입증한다.

제안 방법

• CLIP 기반 분류를 가능하게 하고 신뢰도 점수를 가진 의사 라벨을 얻기 위해 HSI를 RGB 대역으로 스펙트럴 보간한다.
• RS(해상도 스케일링) 전략을 적용하여 다양한 크기의 객체를 더 잘 다루기 위해 여러 이미지 스케일의 예측을 융합한다.
• CLIP 우선 정보에 guided된 클래스 균형 샘플링으로 warmup 단계에서 스펙트럼 기반 학습을 위한 HSI 분류기(MambaHSI)를 사용한다.
• Gaussian Mixture Models와 BvSB 기반 점수로 예측 샘플을 confident 세트와 hard 세트로 분할한 후, 클래스별 GMM으로 소프트 라벨을 생성한다.
• 무작위, confident, hard 세트에서의 소프트 라벨을 결합한 합성 손실를 최적화하여 학습을 정제한다.
• GMM 기반의 소프트 라벨 추정에 PCA 축소 스펙트럴 특성을 도입하여 의사 라벨과 학습 데이터를 정제한다.
• RGB 기반 입력을 HSIs로 대체하여 분광 정보가 RGB보다 성능을 향상시킴을 배치 연구에서 보인다.

실험 결과

연구 질문

• RQ1 CLIP 기반 의사 라벨을 사람이 주석하지 않고도 제로샷 HSI 분류에 효과적으로 사용할 수 있는가?
• RQ2 스펙트럼 정보를 포함하고 라벨 정제를 도입하면 CLIP 기반 의사 라벨만으로도 제로샷 HSI 정확도가 향상되는가?
• RQ3 해상도 스케일링이 CLIP 기반 HSI 분류에서 다양한 크기의 객체를 다루는 데 어떤 영향을 미치는가?
• RQ4 제안된 라벨 정제 전략이 의사 라벨의 노이즈를 완화하고 학습 안정성을 개선하는가?

주요 결과

• SPECIAL은 세 가지 공개 데이터셋의 HSI에서 기존의 CLIP 기반 제로샷 접근법보다 우수한 성능을 보인다.
• HSIs를 통해 스펙트럴 정보를 도입하면 RGB 만 학습하는 것보다 성능이 더 좋다.
• 해상도 스케일링 전략은 서로 다른 크기의 객체 인식을 일관되게 향상시키며 의사 라벨의 품질을 높인다.
• GMM과 소프트 라벨을 사용한 라벨 정제 단계는 잡음이 많은 의사 라벨의 영향을 줄이고 전반적인 정확도를 높인다.
• 적층 연구에서 무작위, confident, hard 하위 집합을 소프트 라벨과 결합하면 데이터셋 전반에 걸쳐 최상의 성능을 보인다.