[논문 리뷰] Faster hyperspectral image classification based on selective kernel mechanism using deep convolutional networks

Guandong Li, Chunju Zhang|arXiv (Cornell University)|2022. 02. 14.

Remote-Sensing Image Classification인용 수 9

한 줄 요약

이 논문은 선택적 커널 메커니즘을 통합하여 가변적인 수신 영역을 동적으로 조정할 수 있는 경량 3D-CNN 기반의 고분광 영상 분류 모델인 FSKNet을 제안한다. 3D-to-2D 특징 변환과 채널 주의 메커니즘(SE 모듈) 및 공간적으로 적응형 합성곱을 결합함으로써, IN, UP, Salinas 및 Botswana 데이터셋에서 매우 적은 파라미터 수와 짧은 추론 시간으로 높은 정확도를 달성한다.

ABSTRACT

Hyperspectral imagery is rich in spatial and spectral information. Using 3D-CNN can simultaneously acquire features of spatial and spectral dimensions to facilitate classification of features, but hyperspectral image information spectral dimensional information redundancy. The use of continuous 3D-CNN will result in a high amount of parameters, and the computational power requirements of the device are high, and the training takes too long. This letter designed the Faster selective kernel mechanism network (FSKNet), FSKNet can balance this problem. It designs 3D-CNN and 2D-CNN conversion modules, using 3D-CNN to complete feature extraction while reducing the dimensionality of spatial and spectrum. However, such a model is not lightweight enough. In the converted 2D-CNN, a selective kernel mechanism is proposed, which allows each neuron to adjust the receptive field size based on the two-way input information scale. Under the Selective kernel mechanism, it mainly includes two components, se module and variable convolution. Se acquires channel dimensional attention and variable convolution to obtain spatial dimension deformation information of ground objects. The model is more accurate, faster, and less computationally intensive. FSKNet achieves high accuracy on the IN, UP, Salinas, and Botswana data sets with very small parameters.

연구 동기 및 목표

• 기존 3D-CNN의 높은 파라미터 수와 계산 비용 문제를 해결하기 위해.
• 고분광 데이터의 스펙트럼 및 공간적 부정확성을 줄이면서도 분류에 유의미한 특징를 유지하기 위해.
• 최소한의 모델 크기로도 높은 분류 정확도를 유지하는 경량 네트워크를 설계하기 위해.
• 선택적 커널 메커니즘과 차원 축소를 통해 모델 복잡도를 줄여 추론 속도를 향상시키기 위해.
• 더 적은 파라미터로 기준 고분광 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 고분광 데이터로부터 공간-스펙트럼 특징을 공동으로 추출하기 위해 3D-CNN을 사용한다.
• 3D-to-2D 특징 변환 모듈을 통해 공간적 및 스펙트럼 차원을 감소시켜 모델 복잡도를 낮춘다.
• 2D-CNN 브런치에 선택적 커널 메커니즘을 도입하여 입력 스케일에 따라 수신 영역 크기를 자동으로 조정한다.
• 선택적 커널 메커니즘은 채널 주의를 위한 압축-확장(SE) 모듈과 학습 가능한 공간적 적응형 합성곱을 조합하여 변형 모델링을 수행한다.
• 다양한 스케일의 정보를 활용하여 동적 수신 영역 적응을 가능하게 하기 위해 이중 스트림 입력 처리 전략을 사용한다.
• 높은 정확도를 유지하면서도 추론 속도와 파라미터 효율성을 최적화한 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 하이브리드 3D-2D CNN 아키텍처는 고분광 영상 분석에서 계산 비용을 줄이면서도 분류 정확도를 유지할 수 있는가?
• RQ2 선택적 커널 메커니즘은 고분광 데이터의 개선된 특징 표현을 위해 수신 영역을 얼마나 효과적으로 적응시킬 수 있는가?
• RQ3 스펙트럼 및 공간적 부정확성을 얼마나 줄일 수 있으며, 분류 성능 저하 없이 수행할 수 있는가?
• RQ4 SE 모듈과 가변 합성곱의 통합은 모델의 효율성과 정확도를 동시에 향상시킬 수 있는가?
• RQ5 기존의 3D-CNN 기반 모델들과 비교해 FSKNet은 표준 고분광 기준 데이터셋에서 정확도와 속도 면에서 어떻게 성능을 내는가?

주요 결과

• FSKNet은 매우 작은 모델 파라미터 수로 Indian Pines(IN), University of Pavia(UP), Salinas 및 Botswana 데이터셋에서 높은 분류 정확도를 달성한다.
• 낮은 파라미터 수와 효율적인 아키텍처 덕분에 표준 3D-CNN보다 훨씬 빠른 추론 속도를 보인다.
• 선택적 커널 메커니즋试은 동적 수신 영역 적응을 가능하게 하여 최소한의 계산 오버헤드로도 특징 표현을 향상시킨다.
• SE 모듈과 가변 합성곱의 조합은 채널별 주의와 공간적 변형 모델링을 동시에 향상시켜 성능을 높인다.
• FSKNet은 정확도 면에서 기존 최신 기술 수준의 방법들을 초월하거나 동등하게 유지하면서도 상당히 더 파라미터 효율적이다.
• 3D-to-2D 특징 변환은 특징 품질을 손상시키지 않으면서도 부정확성을 효과적으로 줄이고 처리 속도를 향상시킨다.