[논문 리뷰] SpectralNET: Exploring Spatial-Spectral WaveletCNN for Hyperspectral Image Classification

Tanmay Chakraborty, Utkarsh Trehan|arXiv (Cornell University)|2021. 04. 01.

Remote-Sensing Image Classification참고 문헌 28인용 수 41

한 줄 요약

SpectralNET는 Haar 웨이블릿 변환에서 추출한 스펙트럴 특징과 공간 CNN 특징을 융합하는 웨이브렛 기반 CNN을 도입하여 IP, UP, SA 데이터셋에서 소규모 학습 데이터로 최첨단 고해상도 이미징(HSI) 분류를 달성했다.

ABSTRACT

Hyperspectral Image (HSI) classification using Convolutional Neural Networks (CNN) is widely found in the current literature. Approaches vary from using SVMs to 2D CNNs, 3D CNNs, 3D-2D CNNs. Besides 3D-2D CNNs and FuSENet, the other approaches do not consider both the spectral and spatial features together for HSI classification task, thereby resulting in poor performances. 3D CNNs are computationally heavy and are not widely used, while 2D CNNs do not consider multi-resolution processing of images, and only limits itself to the spatial features. Even though 3D-2D CNNs try to model the spectral and spatial features their performance seems limited when applied over multiple dataset. In this article, we propose SpectralNET, a wavelet CNN, which is a variation of 2D CNN for multi-resolution HSI classification. A wavelet CNN uses layers of wavelet transform to bring out spectral features. Computing a wavelet transform is lighter than computing 3D CNN. The spectral features extracted are then connected to the 2D CNN which bring out the spatial features, thereby creating a spatial-spectral feature vector for classification. Overall a better model is achieved that can classify multi-resolution HSI data with high accuracy. Experiments performed with SpectralNET on benchmark dataset, i.e. Indian Pines, University of Pavia, and Salinas Scenes confirm the superiority of proposed SpectralNET with respect to the state-of-the-art methods. The code is publicly available in https://github.com/tanmay-ty/SpectralNET.

연구 동기 및 목표

• HSI에서 스펙tral 및 공간 정보를 함께 모델링할 필요성에 대한 동기를 제시한다.
• SpectralNET를 제안한다. 이는 다중 수준 Haar 웨이블릿 변환으로 확장된 2D-CNN으로 스펙트럴 특징을 효율적으로 추출한다.
• 웨이블렛의 스펙트럴 특징을 공간 CNN 특징과 융합했을 때 벤치마크 HSI 데이터셋에서 분류 성능이 향상됨을 보여준다.

제안 방법

• FA를 사용한 HSI 전처리로 밴드를 R에서 B로 축소(FA는 스펙트럴 변동성을 보존한다).
• SxSxB 중첩 패치를 추출(S는 데이터셋에 따라 IP는 64, UP/SA는 24로 선택).
• 여러 층에 걸쳐 네 가지 Haar 웨이블릿 하위대역(low/high)을 적용하여 다중 해상도 스펙트럴-공간 특징을 생성한다.
• 1x1 투영과 Dense 연결을 사용하여 특징 흐름을 유지하고 소실 기울기를 완화한다.
• 전역 평균 풀링, 드롭아웃 및 배치 정규화를 통해 과적합을 감소시키고 SGD(lr=0.01, momentum=0.9)로 150 에폭 학습한다."
• IP, UP, SA 데이터셋에서 SpectralNET를 훈련 및 평가하고 SVM, 2D-CNN, 3D-CNN, M3D-CNN, FuSENet, HybridSN과 비교한다.

실험 결과

연구 질문

• RQ1 2D-CNN에 웨이블렛 기반 다중 해상도 스펙트럴 특징을 추가하면 HSI 분류에서 최첨단 스펙트럴-공간 모델을 능가할 수 있는가?
• RQ2 하르 웨이블릿 스펙트럴 특징을 공간 CNN 특징과 결합하면 제한된 학습 데이터를 가진 표준 HSI 벤치마크에서 정확도가 향상되는가?
• RQ3 IP, UP, SA처럼 서로 다른 스펙트럴 및 공간 특성을 가진 데이터셋에서 다양한 학습 분할 하에서 SpectralNET의 성능은 어떠한가?
• RQ4 FA 기반 차원 축소가 Wavelet-CNN 분류를 위한 HSI 데이터 준비에서 PCA보다 바람직한가?

주요 결과

Training Samples	IP OA	IP Kappa	IP AA	UP OA	UP Kappa	UP AA	SA OA	SA Kappa	SA AA
10%	98.76	98.59	98.61	99.71	99.62	99.43	99.96	99.96	99.97
30%	99.86	99.84	99.98	99.99	99.98	99.98	100	100	100

• SpectralNET는 10% 및 30% 학습 분할에서 IP, UP, SA에서 경쟁 방법들보다 더 높은 정확도를 달성한다.
• 10% 학습에서 SpectralNET은 IP OA 98.76%, IP Kappa 98.59%, IP AA 98.61%; UP OA 99.71%, UP Kappa 99.62%, UP AA 99.43%; SA OA 99.96%, SA Kappa 99.96%, SA AA 99.97%.
• 30% 학습에서 SpectralNET은 IP OA 99.86%, IP Kappa 99.84%, IP AA 99.98%; UP OA 99.99%, UP Kappa 99.98%, UP AA 99.98%; SA OA 100%, SA Kappa 100%, SA AA 100%.
• SpectralNET는 세 가지 데이터셋 모두에서 두 가지 학습 체계에서 SVM, 2D-CNN, 3D-CNN, M3D-CNN, FuSENet, HybridSN보다 우수한 성능을 보인다.
• 웨이블릿 기반 스펙트럴 특징은 3D-CNN보다 가벼운 대안을 제공하면서도 경쟁력 있거나 우수한 정확도를 달성한다.