[논문 리뷰] Hyperspectral Classification Based on 3D Asymmetric Inception Network with Data Fusion Transfer Learning

Haokui Zhang, Yü Liu외 4명|arXiv (Cornell University)|2020. 02. 11.

Remote-Sensing Image Classification참고 문헌 21인용 수 5

한 줄 요약

이 논문은 과도한 피팅을 줄이기 위해 깊이 있고 스펙트럼 최적화된 아키텍처를 채택한 경량 3D 비대칭 인셉션 네트워크인 AINet를 제안한다. 이는 소규모 데이터셋에서의 과도한 피팅 문제를 완화하며, 데이터 융합 전이학습 전략을 통해 성능을 향상시켜 Pavia University, Indian Pines, Kennedy Space Center 기준에서 최신 기술 수준(SOTA) 성능을 달성하며 전체 정확도(OA) 최고 99.14%를 기록한다.

ABSTRACT

Hyperspectral image(HSI) classification has been improved with convolutional neural network(CNN) in very recent years. Being different from the RGB datasets, different HSI datasets are generally captured by various remote sensors and have different spectral configurations. Moreover, each HSI dataset only contains very limited training samples and thus it is prone to overfitting when using deep CNNs. In this paper, we first deliver a 3D asymmetric inception network, AINet, to overcome the overfitting problem. With the emphasis on spectral signatures over spatial contexts of HSI data, AINet can convey and classify the features effectively. In addition, the proposed data fusion transfer learning strategy is beneficial in boosting the classification performance. Extensive experiments show that the proposed approach beat all of the state-of-art methods on several HSI benchmarks, including Pavia University, Indian Pines and Kennedy Space Center(KSC). Code can be found at: https://github.com/UniLauX/AINet.

연구 동기 및 목표

• 제한된 학습 샘플로 인해 발생하는 고분광 영상(HSI) 분류에서의 과도한 피팅 문제를 해결한다.
• 얕은 3D CNN의 한계를 극복하기 위해 더 깊고 가벼운 네트워크 아키텍처를 설계함으로써 HSI 분류에서의 성능을 향상시킨다.
• 다양한 스펙트럼 구성이 있는 고분광 영상 데이터셋에서 전이학습을 활용하여 모델의 일반화 능력과 학습 효율성을 향상시킨다.
• 아키텍처 설계를 통해 공간적 맥락보다 스펙트럼 서명을 강조함으로써 분류 성능를 향상시킨다.
• 저자료 환경에서 다중 소스 전이학습의 효과를 고분광 영상 분류에 대해 입증한다.

제안 방법

• 확장된 컨볼루션과 비대칭 커널 크기를 사용하여 파rameter 수를 줄이고 효율적으로 스펙트럼-공간 특징을 추출하는 3D 비대칭 인셉션 네트워크(AINet)를 제안한다.
• 공간 맥락보다 스펙트럼 서명을 우선시하는 스펙트럼 주의 메커니즘을 도입하여 고분광 영상 데이터의 본질적 특성과 일치시킨다.
• 다양한 스펙트럼 반응을 가진 여러 소스 고분광 영상 데이터셋(Pavia Center, Salinas 등)에서 사전학습을 수행한 후 타겟 데이터셋에서 미세조정하는 데이터 융합 전이학습 전략을 제안한다.
• 이중 단계 학습 프로세스를 적용한다: 다양한 스펙트럼 반응을 가진 소스 데이터셋에서의 사전학습 후, 더 적은 수의 레이블이 있는 타겟 데이터셋에서의 미세조정.
• 여러 소스 데이터셋(AINet+T3 및 AINet+T4 등)에서의 전이학습을 활용하여 특징 일반화 능력과 모델의 강건성을 향상시킨다.
• 잔차 연결을 갖춘 3D CNN 기반 아키텍처를 사용하여 깊은 네트워크 학습을 가능하게 하면서도 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 제한된 학습 데이터로 고분광 영상 분류에서 비대칭 커널 설계를 가진 경량이고 깊은 3D CNN이 효과적으로 대표적인 스펙트럼-공간 특징을 추출할 수 있는가?
• RQ2 다양한 스펙트럼 구성이 있는 다수의 고분광 영상 데이터셋에서의 데이터 융합 전이학습은 모델의 일반화 능력과 분류 정확도를 어떻게 향상시키는가?
• RQ3 타겟 데이터셋과 동일한 센서로 촬영된 소스 데이터셋에서의 전이학습이 다른 센서에서의 전이학습보다 성능 향상에 더 큰 기여를 하는가, 특히 저샘플 학습 환경에서?
• RQ4 다양한 고분광 영상 데이터셋에서 사전학습을 수행하는 것이 단일 데이터셋 사전학습보다 분류 정확도와 강건성 측면에서 뛰어나게 성능을 향상시키는가?
• RQ5 소규모 타겟 데이터셋에서 미세조정할 때 전이학습이 학습 효율성과 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• AINet는 Indian Pines 데이터셋에서 전체 정확도(OA) 99.14%를 달성하여 2D-CNN보다 9.15%, 3D-CNN보다 1.58%, SSRN보다 0.74% 높은 성능을 기록한다.
• 전이학습을 통해 성능 향상이 뚜렷하게 향상되며, 특히 클래스당 15개의 학습 샘플만 있는 경우 일부 사례에서 최대 10%의 성능 향상이 관찰된다.
• 다른 두 개의 고분광 영상 데이터셋(Pavia Center 및 Salinas)에서 사전학습을 수행할 경우 단일 데이터셋 사전학습보다 더 높은 성능 향상이 이루어지며, 이는 클래스 및 스펙트럼 다양성의 이점임을 시사한다.
• 타겟 데이터셋과 동일한 센서로 촬영된 소스 데이터셋에서의 전이학습은 다른 센서에서의 전이학습보다 더 큰 성능 향상 효과를 보이며, 특히 저샘플 학습 환경에서 두드러진다.
• 더 깊은 3D-CNN보다 훨씬 적은 파라미터 수를 유지하면서도 뛰어난 정확도를 달성하여 효율성과 확장성의 우수함을 입증한다.
• 클래스당 30개의 학습 샘플을 사용할 경우 일부 사례에서 미세조정된 모델의 성능이 약간 감소하는 경향을 보이며, 이는 미세조정 과정에서 하이퍼파ram터 민감성의 가능성을 시사한다.