[논문 리뷰] 1D-Convolutional Capsule Network for Hyperspectral Image Classification

Hai‐Tao Zhang, Ling‐Guo Meng외 6명|arXiv (Cornell University)|2019. 03. 23.

Remote-Sensing Image ClassificationEngineering참고 문헌 42인용 수 19

한 줄 요약

이 논문은 고분광 영상(HSI) 분류를 위해 공간적 및 스펙트럼적 특징을 별도로 추출하는 경량 1D-컨볼루션 캡슐 네트워크인 1D-ConvCapsNet을 제안한다. 국소 연결과 캡슐 단위 제약 창을 사용함으로써 파arameter 수와 학습 비용을 줄이면서도 높은 정확도를 유지하며, 3D-CNN과 표준 CapsNets에 비해 속도와 효율성에서 뛰어난 성능을 보이며 세 가지 벤치마크 데이터셋에서 비교적 또는 뛰어난 분류 정확도를 달성한다.

ABSTRACT

Recently, convolutional neural networks (CNNs) have achieved excellent performances in many computer vision tasks. Specifically, for hyperspectral images (HSIs) classification, CNNs often require very complex structure due to the high dimension of HSIs. The complex structure of CNNs results in prohibitive training efforts. Moreover, the common situation in HSIs classification task is the lack of labeled samples, which results in accuracy deterioration of CNNs. In this work, we develop an easy-to-implement capsule network to alleviate the aforementioned problems, i.e., 1D-convolution capsule network (1D-ConvCapsNet). Firstly, 1D-ConvCapsNet separately extracts spatial and spectral information on spatial and spectral domains, which is more lightweight than 3D-convolution due to fewer parameters. Secondly, 1D-ConvCapsNet utilizes the capsule-wise constraint window method to reduce parameter amount and computational complexity of conventional capsule network. Finally, 1D-ConvCapsNet obtains accurate predictions with respect to input samples via dynamic routing. The effectiveness of the 1D-ConvCapsNet is verified by three representative HSI datasets. Experimental results demonstrate that 1D-ConvCapsNet is superior to state-of-the-art methods in both the accuracy and training effort.

연구 동기 및 목표

• 고분광 영상(HSI) 데이터의 높은 차원성으로 인해 3D-CNN의 계산 비용과 파라미터 복잡성이 높아지는 문제를 해결하기 위해.
• 표준 캡슐 네트워크(CapsNets)의 한계, 즉 높은 메모리 사용량과 느린 학습 속도를 HSI 응용 분야에서 극복하기 위해.
• 제한된 레이블이 부여된 학습 샘플에서도 높은 분류 정확도를 유지할 수 있는 경량이고 효율적인 딥 러닝 모델을 개발하기 위해.
• 공간-스펙트럼 특징 표현을 유지하면서도 수렴 속도를 높이고 학습 노력을 줄일 수 있도록 하기 위해.

제안 방법

• 모델은 공간적 및 스펙트럼적 특징을 독립적으로 추출하기 위해 별도의 1D 컨볼루션 레이어를 사용하여 3D 컨볼루션 네트워크보다 파라미터 수를 줄인다.
• 국소 연결과 가중치 공유를 적용한 주요 캡슐 레이어를 사용하여 파라미터 수와 계산 부담을 감소시킨다.
• 캡슐의 수용 필드를 제한하기 위해 캡슐 단위 제약 창 메커니즘을 도입하여 파라미터 중복을 추가로 최소화한다.
• 다이나믹 라우팅을 사용하여 캡슐 레이어 간 활동 벡터를 전파함으로써 부분-전체 관계의 계층적 표현 학습을 가능하게 한다.
• 특징 표현 향상과 중복 감소를 위해 입력 데이터에 주성분 분석(PCA) 화이트닝을 적용한다.
• 분류 성능 최적화를 위해 엔드 투 엔드로 백프로파게이션을 사용하고 마진 손실 함수를 적용하여 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 3D-CNN에 비해 훨씬 더 짧은 학습 시간과 파라미터 수를 갖는 1D-컨볼루션 캡슐 네트워크가 고분광 영상에서 경쟁력 있는 분류 정확도를 달성할 수 있는가?
• RQ2 5% 또는 10%의 레이블이 부여된 학습 샘플에서 제안된 1D-ConvCapsNet의 성능은 어떠한가?
• RQ3 캡슐 단위 제약 창이 고분광 영상 분류를 위한 캡슐 네트워크에서 파라미터 수와 계산 복잡성을 얼마나 줄이는가?
• RQ4 공간적 및 스펙트럼적 특징 추출을 별도로 수행하는 것과 3D 컨볼루션을 통한 통합 추출 방식을 비교했을 때 정확도와 효율성 면에서 어떤 차이가 있는가?

주요 결과

• Indian Pines 데이터셋에서 10% 학습 샘플로 97.89%의 전체 정확도를 달성했고, 5% 학습 샘플로도 94.64%의 정확도를 기록하여 자료 부족 조건에서도 뛰어난 일반화 능력을 입증했다.
• University of Pavia 데이터셋에서 10% 학습 샘플로 99.28%의 정확도를 달성했고, 5% 학습 샘플로도 98.47%의 정확도를 기록하여 제한된 데이터에 대한 강건성을 입증했다.
• Salinas 데이터셋에서 10% 학습 샘플로 99.56%의 정확도를 기록했고, 5% 학습 샘플로도 99.22%의 정확도를 달성하여 소규모 학습 세트에서도 뛰어난 성능을 보였다.
• 세 데이터셋 전반에서 표준 CapsNet 대비 학습 시간을 93-96% 감소시키고 파라미터 수도 93-96% 감소시켰으며, 학습 시간은 각각 Indian Pines 402초, University of Pavia 432초, Salinas 2,146초였다.
• 1D-ConvCapsNet은 c-CNN보다 더 빠른 수렴 속도를 보였고, 더 높은 검증 정확도를 달성했으며, 수렴 속도는 CapsNet과 유사하지만 계산 비용은 상당히 낮았다.
• 1D-ConvCapsNet의 분류 지도는 c-CNN에 비해 더 적은 오분류와 노이즈를 보였고, 특히 Indian Pines 데이터셋의 Corn-no 및 Soy-no와 같은 복잡하거나 노이즈가 많은 영역에서 진짜 값에 더 가까운 결과를 보였다.