[논문 리뷰] Hyperspectral Image Classification: Artifacts of Dimension Reduction on Hybrid CNN

Muhammad Ahmad, Sidrah Shabbir외 4명|arXiv (Cornell University)|2021. 01. 25.

Remote-Sensing Image Classification인용 수 9

한 줄 요약

이 논문은 3D/2D 컨볼루션 네트워크의 병합 구조를 활용하여 고분광 영상 분류를 위한 경량화된 하이브리드 모델을 제안한다. 이는 특징 추출 이전에 차원 축소(특히 주성분 분석)를 적용하여 계산 비용을 절감한다. 제안된 방법은 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 더 적은 파라미터 수와 학습 샘플 수에도 불구하고 기존의 2D/3D 컨볼루션 네트워크보다 뛰어난 일반화 능력과 효율성을 보였다.

ABSTRACT

Convolutional Neural Networks (CNN) has been extensively studied for Hyperspectral Image Classification (HSIC) more specifically, 2D and 3D CNN models have proved highly efficient in exploiting the spatial and spectral information of Hyperspectral Images. However, 2D CNN only considers the spatial information and ignores the spectral information whereas 3D CNN jointly exploits spatial-spectral information at a high computational cost. Therefore, this work proposed a lightweight CNN (3D followed by 2D-CNN) model which significantly reduces the computational cost by distributing spatial-spectral feature extraction across a lighter model alongside a preprocessing that has been carried out to improve the classification results. Five benchmark Hyperspectral datasets (i.e., SalinasA, Salinas, Indian Pines, Pavia University, Pavia Center, and Botswana) are used for experimental evaluation. The experimental results show that the proposed pipeline outperformed in terms of generalization performance, statistical significance, and computational complexity, as compared to the state-of-the-art 2D/3D CNN models except commonly used computationally expensive design choices.

연구 동기 및 목표

• 고분광 영상 분류에서 3D 컨볼루션 네트워크의 높은 계산 비용을 해결하면서도 스펙트럼-공간 특징 추출 능력을 유지하고자 한다.
• 차원 축소 기법이 하이브리드 3D/2D 컨볼루션 네트워크의 성능에 미치는 영향을 조사하고자 한다.
• 분류 정확도와 일반화 능력을 향상시키기 위해 최적의 입력 윈도우 크기를 최적화하고자 한다.
• 정확도와 효율성을 균형 잡은 경량이며 종단 간 학습이 가능한 프레임워크를 개발하고자 한다.
• 여러 벤치마크 데이터셋에서 최신 기술 수준의 2D/3D 컨볼루션 네트워크 모델과 비교하여 뛰어난 성능을 입증하고자 한다.

제안 방법

• 3D 컨볼루션은 스펙트럼-공간 특징를 함께 추출하고, 그 다음 2D 컨볼루션을 통해 공간적 특징를 정밀화하는 하이브리드 3D/2D 컨볼루션 네트워크 아키텍처를 설계하였다.
• 스펙트럼의 중복을 줄이고 계산 부담을 감소시키기 위해 주성분 분석(PCA), 독립 성분 분석(ICA), 스퍼블리티 주성분 분석(SPCA), 특이값 분해(SVD), 반복적 주성분 분석(iPCA)을 이용한 차원 축소를 사전 처리 단계로 적용하였다.
• 입력 패치 크기 9×9와 11×11를 사용하여 종단 간 학습을 수행함으로써 공간 윈도우 크기의 성능에 미치는 영향를 평가하였다.
• 일致한 학습 설정 하에 다섯 개의 벤치마크 데이터셋(SalinasA, Salinas, Indian Pines, Pavia University, Pavia Center, Botswana)을 사용하여 평가하였다.
• 통계적 유의성을 확보하기 위해 전체 정확도(OA), 평균 정확도(AA), 카파 계수를 사용하여 성능를 평가하였다.
• 동일한 학습/검증 분할(50/50) 조건 하에 최신 기술 수준의 모델인 다중 스케일 3D-CNN 및 3D/2D-CNN과 비교하였다.

실험 결과

연구 질문

• RQ1 차원 축소가 하이브리드 3D/2D 컨볼루션 네트워크의 고분광 영상 분류 성능에 어떤 영향을 미치는가?
• RQ2 제안된 하이브리드 컨볼루션 네트워크와 조합했을 때, PCA, ICA, SPCA, SVD, iPCA 중 어떤 차원 축소 기법이 가장 높은 분류 정확도를 제공하는가?
• RQ3 성능을 극대화하기 위해 최적의 입력 윈도우 크기(9×9 대비 11×11)는 무엇인가?
• RQ4 제안된 하이브리드 3D/2D 컨볼루션 네트워크는 정확도, 일반화 능력, 계산 비용 측면에서 최신 기술 수준의 2D 및 3D 컨볼루션 네트워크 모델과 비교해 어떻게 성능가능한가?
• RQ5 경량 하이브리드 컨볼루션 네트워크가 더 적은 파라미터 수, 필터 수, 에포크 수, 학습 샘플 수로도 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• 제안된 하이브리드 3D/2D 컨볼루션 네트워크는 Salinas Full Scene 데이터셋에서 99.89% OA, 99.90% AA, 99.97% Kappa를 기록하여 비교된 모든 모델을 압도하였다.
• 모든 데이터셋에서 사전 처리 단계로 PCA를 적용한 결과가 가장 높은 분류 성능를 보였으며, 15~27개의 스펙트럼 대역에서 일관된 OA 및 Kappa 값을 확보하였다.
• Pavia University 및 Botswana 데이터셋에서 11×11 입력 윈도우 크기가 9×9보다 높은 분류 정확도를 기록하여 더 큰 수신 필드에서 더 나은 특징 표현 능력을 가짐을 시사하였다.
• Botswana 데이터셋에서 제안된 모델은 97.73% OA, 97.91% AA, 98.20% Kappa를 기록하였으며, 3D-CNN(88.26% OA)과 2D-CNN(82.54% OA)을 크게 앞서는 성능를 보였다.
• 더 적은 합성곱 층 수, 필터 수, 에포크 수, 학습 샘플 수로도 최신 기술 수준의 결과를 달성하여 계산 시간을 감소시키면서도 고정확도를 유지하였다.
• 모든 다섯 개의 벤치마크 데이터셋에서 강력한 일반화 능력과 통계적 유의성을 입증하여 프레임워크의 견고성과 효율성을 확인하였다.