[논문 리뷰] HSI-CNN: A Novel Convolution Neural Network for Hyperspectral Image

Yanan Luo, Jie Zou외 3명|arXiv (Cornell University)|2018. 02. 28.

Remote-Sensing Image ClassificationEngineering참고 문헌 26인용 수 16

한 줄 요약

이 논문은 고분광 영상에서 스펙트럼-공간 특징을 추출하기 위해 대상 픽셀과 그 이웃 픽셀로부터 1차원 특징 맵을 먼저 생성한 후 이를 2차원 행렬로 스택하여 표준 컨볼루션 신경망 처리를 수행하는 새로운 3차원 컨볼루션 신경망 프레임워크인 HSI-CNN을 제안한다. 이 방법은 KSC, IP, PU, SA 데이터셋에서 각각 99.28%, 99.09%, 99.42%, 98.95%의 최신 기준 분류 정확도를 달성하여 훈련 샘플이 제한된 조건에서도 뛰어난 성능을 보여준다.

ABSTRACT

With the development of deep learning, the performance of hyperspectral image (HSI) classification has been greatly improved in recent years. The shortage of training samples has become a bottleneck for further improvement of performance. In this paper, we propose a novel convolutional neural network framework for the characteristics of hyperspectral image data, called HSI-CNN. Firstly, the spectral-spatial feature is extracted from a target pixel and its neighbors. Then, a number of one-dimensional feature maps, obtained by convolution operation on spectral-spatial features, are stacked into a two-dimensional matrix. Finally, the two-dimensional matrix considered as an image is fed into standard CNN. This is why we call it HSI-CNN. In addition, we also implements two depth network classification models, called HSI-CNN+XGBoost and HSI-CapsNet, in order to compare the performance of our framework. Experiments show that the performance of hyperspectral image classification is improved efficiently with HSI-CNN framework. We evaluate the model's performance using four popular HSI datasets, which are the Kennedy Space Center (KSC), Indian Pines (IP), Pavia University scene (PU) and Salinas scene (SA). As far as we concerned, HSI-CNN has got the state-of-art accuracy among all methods we have known on these datasets of 99.28%, 99.09%, 99.42%, 98.95% separately.

연구 동기 및 목표

• 고분광 영상(HSI) 분류에서 훈련 샘플이 제한된 문제에 대응하기 위해.
• HSI 데이터의 고유한 스펙트럼-공간 특성에 맞게 설계된 딥 러닝 프레임워크를 개발하기 위해.
• HSI의 스펙트럼 및 공간 정보를 효과적으로 활용하여 분류 정확도를 향상시키기 위해.
• 기존 모델들과의 비교를 위해 표준 HSI 벤치마크에서 제안된 HSI-CNN 프레임워크를 평가하기 위해.
• 비교 성능 분 析를 위한 XGBoost와 CapsNet을 활용한 확장 가능성을 탐색하기 위해.

제안 방법

• 국소적 공간 및 스펙트럼 패턴을 이용해 중심 픽셀과 그 주변 영역의 스펙트럼-공간 특징을 추출한다.
• 추출된 스펙트럼-공간 특징에 1차원 컨볼루션 연산을 적용하여 다수의 1차원 특징 맵을 생성한다.
• 1차원 특징 맵들을 2차원 행렬로 스택하여 표준 2차원 CNN의 가짜 이미지 입력으로 간주한다.
• 표준 컨볼루션 신경망 레이어를 사용하여 2차원 행렬에서 계층적인 공간 및 스펙트럼 표현을 학습한다.
• 비교 평가를 위한 두 가지 변형 모델인 HSI-CNN+XGBoost 및 HSI-CapsNet을 구현한다.
• 네 가지 표준 HSI 벤치마크 데이터셋에서 표준 역전파 알고리즘과 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 제한된 훈련 샘플을 가진 고분광 영상에서 하이브리드 스펙트럼-공간 특징 추출 전략이 분류 정확도 향상에 기여할 수 있는가?
• RQ2 1차원 스펙트럼-공간 특징을 2차원 행렬로 변환하는 방식이 직접 3차원 또는 2차원 처리보다 CNN 학습에 어떻게 향상되는가?
• RQ3 표준 HSI 벤치마크에서 HSI-CNN은 기존 최신 기준 방법들보다 얼마나 높은 성능을 보이는가?
• RQ4 추가 모델인 HSI-CNN+XGBoost와 HSI-CapsNet은 정확도 및 내성 면에서 어떻게 비교되는가?
• RQ5 제안된 프레임워크는 공간 및 스펙트럼 특성이 다양한 다양한 HSI 데이터셋에서도 높은 성능을 유지하는가?

주요 결과

• HSI-CNN은 케네디 스페이스 센터(KSC) 데이터셋에서 99.28%의 분류 정확도를 달성하여 기존 방법들을 능가한다.
• 인디안 파인스(IP) 데이터셋에서 HSI-CNN은 99.09%의 정확도를 기록하여 제한된 샘플 조건에서도 강력한 일반화 능력을 보여준다.
• 파비아 대학(PU) 영상에서 모델은 99.42%의 정확도를 달성하여 도시 환경에서 높은 효과성을 입증한다.
• 살리나스(SA) 영상에서는 HSI-CNN이 98.95%의 정확도를 기록하여 다양한 지형 타입에 걸쳐 뛰어난 내성성을 확인한다.
• 이 프레임워크는 네 가지 표준 벤치마크 데이터셋 전반에서 베이스라인 모델과 기존 최신 기준 방법들을 일관되게 능가한다.
• 제거 분석 결과, 1차원 스펙트럼-공간 특징을 2차원 행렬로 변환하는 것이 특징 표현 및 분류 성능 향상에 크게 기여하는 것으로 확인되었다.