[논문 리뷰] Shorten Spatial-spectral RNN with Parallel-GRU for Hyperspectral Image Classification

Haowen Luo|arXiv (Cornell University)|2018. 10. 30.

Remote-Sensing Image Classification인용 수 15

한 줄 요약

이 논문은 단순화된 공간-스펙트럼 RNN과 병렬 게이트 임펄스 단위(병렬-GRU) 아키텍처를 결합한 새로운 딥러닝 모델 St-SS-pGRU를 제안한다. 시퀀스 길이를 줄이고 공간적 특징 추출을 위한 컨볼루션 레이어를 통합함으로써, 표준 RNN 및 GRU보다 높은 정확도와 더 빠른 학습 속도를 달성하였으며, Pavia University 데이터셋에서 전체 정확도 99.01%를 기록하고 변동성이 감소하여 더 뛰어난 안정성을 확보하였다.

ABSTRACT

Convolutional neural networks (CNNs) attained a good performance in hyperspectral sensing image (HSI) classification, but CNNs consider spectra as orderless vectors. Therefore, considering the spectra as sequences, recurrent neural networks (RNNs) have been applied in HSI classification, for RNNs is skilled at dealing with sequential data. However, for a long-sequence task, RNNs is difficult for training and not as effective as we expected. Besides, spatial contextual features are not considered in RNNs. In this study, we propose a Shorten Spatial-spectral RNN with Parallel-GRU (St-SS-pGRU) for HSI classification. A shorten RNN is more efficient and easier for training than band-by-band RNN. By combining converlusion layer, the St-SSpGRU model considers not only spectral but also spatial feature, which results in a better performance. An architecture named parallel-GRU is also proposed and applied in St-SS-pGRU. With this architecture, the model gets a better performance and is more robust.

연구 동기 및 목표

• 기존 RNN이 고분광 영상(HSI) 분류에서 느린 학습과 긴 스펙트럼 시퀀스에서의 열악한 성능 등의 한계를 해결하기 위해.
• CNN의 스펙트럼 순서 무관성 문제를 해결하기 위해 스펙트럼을 순차적 데이터로 모델링하기 위해 RNN을 사용하기 위해.
• 시퀀스 길이를 단순화함으로써 학습 효율성과 일반화 성능을 향상시키기 위해.
• 다중 스펙트럼 세그먼트를 동시에 처리하는 새로운 병렬-GRU 아키텍처를 통해 모델의 안정성과 성능을 향상시키기 위해.
• 컨볼루션 레이어를 통한 공간적 맥락 통합을 통해 HSI 분류에서 스펙트럼 및 공간 특징의 공동 학습을 가능하게 하기 위해.

제안 방법

• 스펙트럼 대역을 그룹화하여 시퀀스 타임스텝 수를 줄이는 단순화된 RNN을 설계하여 학습 속도를 향상시키고 기울기 소실 문제를 완화한다.
• RNN 이전에 컨볼루션 레이어를 스택하여 局부 공간적 특징을 추출하고, 그 다음에 GRU를 통해 순차적 모델링을 수행함으로써 공간-스펙트럼 RNN 아키텍처를 구성한다.
• 병렬-GRU 아키텍처는 입력 시퀀스를 여러 개의 병렬 브랜치로 나누어 각각 독립적으로 GRU가 처리한 후 출력을 연결함으로써 특징 표현과 모델 안정성을 향상시킨다.
• 업데이트 및 리셋 게이트를 갖춘 GRU 기반 순환 유닛을 사용하여 스펙트럼 대역 간 정보의 선택적 유지 또는 무시를 수행한다.
• 최종 분류 레이어는 최종 은닉 상태에서 토양 피복 클래스를 예측하기 위해 소프트맥스 활성화 함수를 사용하는 완전 연결 레이어를 사용한다.
• 전체 네트워크는 교차 엔트로피 손실을 사용하는 확률적 경사 하강법을 통해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 밴드별 RNN 대비 단순화된 RNN 아키텍처가 고분광 영상 분류에서 학습 효율성과 성능 향상에 기여하는가?
• RQ2 RNN 프레임워크에 컨볼루션 레이어를 통합함으로써 HSI 분류에서 공간-스펙트럼 특징 학습이 향상되는가?
• RQ3 제안된 병렬-GRU 아키텍처는 표준 GRU 대비 HSI 데이터셋에서 정확도와 안정성 측면에서 어떻게 비교되는가?
• RQ4 GRU가 특히 수렴 속도와 일반화 성능 측면에서 LSTM보다 HSI 분류 작업에서 승리하는가?
• RQ5 제안된 St-SS-pGRU 모델이 다수의 학습 런에 걸쳐 분산을 얼마나 줄이고 안정성을 향상시키는가?

주요 결과

• St-SS-pGRU 모델은 Pavia University 데이터셋에서 전체 정확도 99.01%를 기록하여 표준 GRU(87.79%)와 LSTM(84.68%)를 크게 앞서며 뛰어난 성능을 보였다.
• Indian Pines 데이터셋에서 St-SS-pGRU는 전체 정확도 89.61%를 달성하였으며, St-SS-GRU 대비 3.19% 향상되고 표준 GRU 대비 12.6% 향상되었다.
• St-SS-pGRU 모델은 표준 편차가 낮아 Pavia University(0.26%), Indian Pines(0.86%)에서 더 높은 안정성과 안정성을 보였다.
• Pavia University에서 St-GRU의 학습 시간은 단 7.31초로 단축되었고, Indian Pines에서는 7.63초로, 표준 GRU(각각 232.15초 및 442.67초) 대비 극적으로 향상되었다.
• St-SS-pGRU 모델은 St-SS-GRU 및 St-GRU보다 더 높은 정확도를 달성하여 병렬-GRU 아키텍처가 특징 표현을 향상시키는 데 효과적임을 확인하였다.
• GRU는 정확도와 수렴 속도 모두에서 LSTM을 능가하였으며, 실험에서 LSTM은 안정적으로 수렴하지 못했다.