[논문 리뷰] Feature Extraction and Classification Based on Spatial-Spectral ConvLSTM Neural Network for Hyperspectral Images.

Wen-Shuai Hu, Heng-Chao Li외 4명|arXiv (Cornell University)|2019. 05. 09.

Remote-Sensing Image ClassificationEngineering참고 문헌 48인용 수 19

한 줄 요약

이 논문은 국소 이미지 패치와 스펙트럼 대역에 ConvLSTM를 적용하여 고분광 영상 내 공간적 및 스펙트럼적 의존성을 동시에 모델링하는 두 가지 새로운 2D 및 3D 공간-스펙트럼 ConvLSTM 신경망(SSCL2DNN 및 SSCL3DNN)을 제안한다. 이 모델들은 장거리 공간-스펙트럼 특징을 효과적으로 포착하여 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 분류 성능을 달성한다.

ABSTRACT

In recent years, deep learning has presented a great advance in hyperspectral image (HSI) classification. Particularly, Long Short-Term Memory (LSTM), as a special deep learning structure, has shown great ability in modeling long-term dependencies in the time dimension of video or the spectral dimension of HSIs. However, the loss of spatial information makes it quite difficult to obtain the better performance. In order to address this problem, two novel deep models are proposed to extract more discriminative spatial-spectral features by exploiting the Convolutional LSTM (ConvLSTM) for the first time. By taking the data patch in a local sliding window as the input of each memory cell band by band, the 2-D extended architecture of LSTM is considered for building the spatial-spectral ConvLSTM 2-D Neural Network (SSCL2DNN) to model long-range dependencies in the spectral domain. To take advantage of spatial and spectral information more effectively for extracting a more discriminative spatial-spectral feature representation, the spatial-spectral ConvLSTM 3-D Neural Network (SSCL3DNN) is further proposed by extending LSTM to 3-D version. The experiments, conducted on three commonly used HSI data sets, demonstrate that the proposed deep models have certain competitive advantages and can provide better classification performance than other state-of-the-art approaches.

연구 동기 및 목표

• 표준 LSTM이 순차적 처리로 인해 공간 정보를 상실하는 고분광 영상(HSI) 분류의 한계를 해결하기 위해.
• 공간적 및 스펙트럼적 차원에서 장거리 의존성을 동시에 포착할 수 있는 딥 러닝 아키텍처를 개발하기 위해.
• 2D 공간 컨볼루션과 3D 시간-스펙트럼 모델링을 사용한 ConvLSTM를 통합하여 특징 표현을 향상시키기 위해.
• 제안된 모델을 표준 HSI 벤치마크 데이터셋에 적용하여 최신 기술 수준의 방법들과 성능을 비교하기 위해.

제안 방법

• 스펙트럼 의존성을 모델링하기 위해 2D 컨볼루션 리커런트 신경망 아키텍처를 사용하여 국소 이미지 패치를 스펙트럼 대역별로 처리하는 2D 공간-스펙트럼 ConvLSTM 신경망(SSCL2DNN)을 제안한다.
• 공간적 및 스펙트럼적 차원을 3D 컨볼루션 리커런트 신경망 유닛에 통합하여 2D 모델을 3D 버전(SSCL3DNN)으로 확장함으로써 공간-스펙트럼 특징 학습을 공동으로 수행한다.
• 각 메모리 셀에 입력으로 사용하기 위해 국소 슬라이딩 윈도우를 사용하여 이미지 패치를 추출함으로써 스펙트럼 시퀀스 모델링 중 공간적 맥락을 유지한다.
• 고분광 데이터에서 계층적인 공간-스펙트럼 특징을 추출하기 위해 LSTM 셀 내부에서 2D 및 3D 컨볼루션 연산을 적용한다.
• 분류를 위한 네트워크 파라미터 최적화를 위해 표준 백프로파게이션을 사용하는 엔드 투 엔드 학습을 수행한다.
• 감독 분류 학습을 위해 표준 딥 러닝 손실 함수(예: 교차 엔트로피)를 활용한다.

실험 결과

연구 질문

• RQ1 2D ConvLSTM 아키텍처는 고분광 영상에서 공간 맥락을 유지하면서 스펙트럼 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 2D 접근 방식에 비해 ConvLSTM를 3D로 확장하면 공간-스펙트럼 특징의 표현이 향상되는가?
• RQ3 제안된 SSCL2DNN 및 SSCL3DNN는 표준 HSI 벤치마크에서 기존 최신 기술 수준의 방법들과 비교해 분류 정확도에서 어떻게 성능을 내는가?
• RQ4 제안된 모델은 표준 LSTM 기반 HSI 분류기에서 흔히 발생하는 공간 정보 손실을 어느 정도 완화하는가?

주요 결과

• 제안된 SSCL3DNN 모델은 세 가지 일반적으로 사용되는 고분광 영상 데이터셋에서 다른 최신 기술 수준의 방법들보다 뛰어난 분류 성능을 달성한다.
• SSCL2DNN 모델은 2D ConvLSTM 아키텍처를 통해 장거리 스펙트럼 의존성을 효과적으로 모델링함으로써 향상된 특징 추출 성능를 보여준다.
• 3D ConvLSTM 프레임워크 내에서 공간적 및 스펙트럼적 모델링을 통합하면 별도의 공간적 및 스펙트럼적 처리보다 더 구분력 있는 특징 표현이 가능하다.
• 두 모델 모두 표준 LSTM 및 기타 딥 러닝 베이스라인 모델보다 전체 분류 정확도에서 뛰어나며, 특히 복잡한 스펙트럼 변동을 다룰 때 유리하다.
• 실험 결과는 제안된 아키텍처가 다양한 고분광 영상 데이터셋에 대해 강건하며, 뛀난 일반화 능력을 지닌다는 것을 확인한다.
• 결과적으로 3D ConvLSTM를 통한 공간적 및 스펙트럼적 특징의 공동 모델링은 공간적 및 스펙트럼적 차원을 순차적 또는 독립적으로 처리하는 것보다 더 높은 성능을 내는 것으로 나타났다.