[논문 리뷰] Exploring Multi-Timestep Multi-Stage Diffusion Features for Hyperspectral Image Classification

Jingyi Zhou, Jiamu Sheng외 5명|arXiv (Cornell University)|2023. 06. 15.

Remote-Sensing Image Classification인용 수 6

한 줄 요약

이 논문은 노이즈 제거 확산 확률 모델을 사용하여 고분광 영상(HSI) 분류를 위한 비지도 스펙트럼-공간 특징 학습 프레임워크인 Diff-HSI를 제안한다. 동적 특징 융합 모듈과 타임스텝별 특징 백업을 통해 다중 타임스텝 계층적 특징을 활용함으로써, Diff-HSI는 세 가지 공개 HSI 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 지도 및 비지도 방법을 모두 능가한다.

ABSTRACT

The effectiveness of spectral-spatial feature learning is crucial for the hyperspectral image (HSI) classification task. Diffusion models, as a new class of groundbreaking generative models, have the ability to learn both contextual semantics and textual details from the distinct timestep dimension, enabling the modeling of complex spectral-spatial relations in HSIs. However, existing diffusion-based HSI classification methods only utilize manually selected single-timestep single-stage features, limiting the full exploration and exploitation of rich contextual semantics and textual information hidden in the diffusion model. To address this issue, we propose a novel diffusion-based feature learning framework that explores Multi-Timestep Multi-Stage Diffusion features for HSI classification for the first time, called MTMSD. Specifically, the diffusion model is first pretrained with unlabeled HSI patches to mine the connotation of unlabeled data, and then is used to extract the multi-timestep multi-stage diffusion features. To effectively and efficiently leverage multi-timestep multi-stage features,two strategies are further developed. One strategy is class & timestep-oriented multi-stage feature purification module with the inter-class and inter-timestep prior for reducing the redundancy of multi-stage features and alleviating memory constraints. The other one is selective timestep feature fusion module with the guidance of global features to adaptively select different timestep features for integrating texture and semantics. Both strategies facilitate the generality and adaptability of the MTMSD framework for diverse patterns of different HSI data. Extensive experiments are conducted on four public HSI datasets, and the results demonstrate that our method outperforms state-of-the-art methods for HSI classification, especially on the challenging Houston 2018 dataset.

연구 동기 및 목표

• 라벨이 부여된 데이터에 크게 의존하는 기존 지도 학습 기반 HSI 분류 방법의 한계를 해결하고 복잡한 스펙트럼-공간 관계를 모델링하기 어려운 문제를 해결하기 위해.
• 기존 비지도 방법들이 주로 저수준 특징을 캐치하고 고수준 의미적 표현이 부족한 문제를 해결하기 위해.
• 확산 모델이 내재적으로 가지는 다중 타임스텝 특징 계층을 활용해 HSI에서의 개선된 스펙트럼-공간 표현 학습을 위해.
• 다양하고 정보적인 표현을 다양한 노이즈 제거 단계에서 캡처할 수 있는 표본 기반 유사도에 따라 타임스텝별 특징을 적응적으로 융합하는 메커니즘을 개발하기 위해.
• 라벨이 없는 데이터를 요구하지 않고도 확산 모델을 통한 비지도 특징 학습의 효과성을 입증하기 위해.

제안 방법

• 비라벨 HSI 패치에서 노이즈 제거 확산 확률 모델을 사전 학습하여 비지도 방식으로 풍부한 스펙트럼-공간 특징을 학습한다.
• 다양한 타임스텝에서 역방향 노이즈 제거 과정의 중간 특징을 추출하여 타임스텝별 특징 백업을 구축한다.
• 표본에 따라 관련성이 높은 타임스텝의 특징을 적응적으로 선택하고 조합하는 동적 특징 융합 모듈을 설계한다.
• 융합된 다중 타임스텝 표현을 최종 HSI 분류를 위한 선형 분류기 앙상블의 입력으로 사용한다.
• 확산 모델의 반복적 노이즈 제거 과정을 활용하여 타임스텝 전반에 걸쳐 저수준 세부 정보와 고수준 의미를 모두 캡처한다.
• 학습 전에 주성분 분석(PCA)을 적용하여 스펙트럼 차원을 감소시키며, 최적의 성분 수는 경험적으로 결정된다.

실험 결과

연구 질문

• RQ1 확산 모델은 비지도 방식으로 HSI 분류를 위한 구분 가능한 스펙트럼-공간 특징을 효과적으로 학습할 수 있는가?
• RQ2 확산 과정에서 유도된 다중 타임스텝 특징을 어떻게 효과적으로 융합하여 표현 학습을 향상시킬 수 있는가?
• RQ3 타임스텝별 특징의 동적 융합은 고정 또는 수동으로 선택된 타임스텝보다 더 높은 분류 성능을 낼 수 있는가?
• RQ4 패치 크기와 PCA 성분 수는 제안된 비지도 특징 학습 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 표준 HSI 벤치마크 데이터셋에서 지도 및 비지도 최신 기술 수준 방법을 모두 능가할 수 있는가?

주요 결과

• Indian Pines 데이터셋에서 Diff-HSI는 전체 정확도(OA) 99.39%와 캬파 계수 0.9938을 기록하여 비교된 모든 지도 및 비지도 방법을 능가한다.
• 동적 특징 융합 모듈은 OA 99.46%와 캈파 계수 0.9938을 달성하여 수동으로 선택한 타임스텝 [100,200,300] (OA 98.81%)과 [100,500,900] (OA 98.87%)을 뛰어넘는 성능을 보였다.
• 최적의 성능은 패치 크기 48×48에서 달성되었으며, Indian Pines 데이터셋에서 OA 99.39%, AA 99.30%를 기록했다.
• 모든 데이터셋에서 최고의 성능는 스펙트럼 대역 수 N의 1/8인 PCA 성분 수로 달성되었다.
• 분류 결과에 따르면, 초기(저타임스텝), 중간(중간타임스텝), 후기(고타임스텝) 타임스텝의 특징을 조합한 표현이 오직 초기 또는 후기 타임스텝만을 사용한 경우보다 더 잘 일반화됨을 확인했다.
• Diff-HSI는 Indian Pines, Pavia University, Houston2018 등 세 가지 다양하고 서로 다른 HSI 데이터셋에서 일관된 최신 기술 수준 성능을 보이며 강력한 일반화 능력을 입증했다.