[논문 리뷰] Hyperspectral Image Classification with Attention Aided CNNs

Renlong Hang, Zhu Li외 3명|arXiv (Cornell University)|2020. 05. 25.

Remote-Sensing Image Classification참고 문헌 45인용 수 11

한 줄 요약

이 논문은 스펙트럼 및 공간 주의 모듈을 통합하여 특징 학습을 향상시키는 주의 기반 CNN 모델을 제안한다. 유연하게 가중치를 부여함으로써 분류에 기여하는 스펙트럼 대역과 공간 영역을 적응적으로 선택함으로써, 세 가지 벤치마크 데이터셋에서 최고 성능을 기록하며 정확도 향상과 유리한 계산 성능-비용 균형을 달성한다.

ABSTRACT

Convolutional neural networks (CNNs) have been widely used for hyperspectral image classification. As a common process, small cubes are firstly cropped from the hyperspectral image and then fed into CNNs to extract spectral and spatial features. It is well known that different spectral bands and spatial positions in the cubes have different discriminative abilities. If fully explored, this prior information will help improve the learning capacity of CNNs. Along this direction, we propose an attention aided CNN model for spectral-spatial classification of hyperspectral images. Specifically, a spectral attention sub-network and a spatial attention sub-network are proposed for spectral and spatial classification, respectively. Both of them are based on the traditional CNN model, and incorporate attention modules to aid networks focus on more discriminative channels or positions. In the final classification phase, the spectral classification result and the spatial classification result are combined together via an adaptively weighted summation method. To evaluate the effectiveness of the proposed model, we conduct experiments on three standard hyperspectral datasets. The experimental results show that the proposed model can achieve superior performance compared to several state-of-the-art CNN-related models.

연구 동기 및 목표

• 스펙트럼 변동성과 클래스 간 유사성으로 인한 고분광 영상의 잘못된 분류 문제를 해결하기 위해.
• 통합된 딥 러닝 프레임워크를 통해 스펙트럼 및 공간 정보를 활용하여 특징 표현을 향상시키기 위해.
• 유용한 스펙트럼 대역과 공간 위치를 우선시하는 주의 메커니즘을 통합하여 CNN의 학습 능력을 향상시키기 위해.
• 높은 분류 정확도와 효율적인 계산을 동시에 확보하는 모델을 개발하여 3D-CNN의 높은 비용 문제를 피하기 위해.
• 표준 고분광 데이터셋에서의 비교 실험을 통해 스펙트럼 및 공간 주의 모듈의 효과를 검증하기 위해.

제안 방법

• 스펙트럼 대역 별 주의 가중치를 학습하기 위해 컨볼루션 레이어를 사용하는 스펙트럼 주의 서브넷을 제안한다. 이는 더 분류에 기여하는 스펙트럼 대역에 집중한다.
• 로컬 패치 내에서 관련 있는 공간 영역을 강조하기 위해 컨볼루션 레이어를 적용하여 공간 주의 맵을 생성하는 공간 주의 서브넷을 설계한다.
• 스펙트럼 및 공간 특징을 적응형 가중 융합 전략을 통해 통합하여, 양 서브넷의 예측을 동적으로 조합한다.
• 각 픽셀 주변의 고분광 큐브에서 스펙트럼 및 공간 특징을 추출하기 위해 2D 및 3D 컨볼루션 커널을 사용한다.
• 주의 모듈과 분류 헤드를 동시에 최적화할 수 있도록 엔드 투 엔드 학습을 적용하여 데이터 기반 특징 선택을 가능하게 한다.
• 주의 기반 특징 정제 후, 글로벌 평균 풀링 및 완전 연결 레이어를 사용하여 최종 분류를 수행한다.

실험 결과

연구 질문

• RQ1 스펙트럼 주의 메커니즘은 고분광 영상 분류에서 CNN의 분류 능력을 향상시키는 데 기여하는가?
• RQ2 공간 주의 메커니즘은 로컬 영상 패치 내에서 관련 있는 공간 패턴을 포착하는 데 모델의 능력을 향상시키는가?
• RQ3 주의 기반 스펙트럼 및 공간 특징의 융합은 기존의 표준 CNN에 비해 향상된 분류 성능을 제공하는가?
• RQ4 제안된 모델은 고분광 데이터셋에서 최고 성능(SOTA) 2D 및 3D-CNN 모델들과 비교해 정확도와 계산 효율성 측면에서 어떻게 성과를 내는가?
• RQ5 적응형 융합 전략은 보완적인 스펙트럼 및 공간 정보를 효과적으로 통합하여 일반화 능력을 향상시키는가?

주요 결과

• 제안된 SSAtt 모델은 Houston 2013, Houston 2018, HyRANK의 세 가지 벤치마크 데이터셋 전반에서 가장 높은 전체 정확도(OA), 평균 정확도(AA), 카파 계수, F1 점수를 기록한다.
• 스펙트럼 주의 서브넷만으로도 베이스라인 CNN보다 분류 성능이 향상됨을 확인하여, 정보가 많은 스펙트럼 대역에 집중하는 것이 가치가 있음을 입증한다.
• 공간 주의 서브넷은 관련 있는 공간 영역을 강조함으로써 특징 학습을 향상시키고, 노이즈 및 불필요한 맥락을 감소시킨다.
• 적응형 융합 전략을 통합한 모델은 개별 서브넷과 비교해도, 3DCNN, SSRN, MSDNSA를 포함한 모든 비교 모델보다 뛰어난 성능을 보인다.
• 우수한 정확도를 달성했음에도 불구하고, SSAtt 모델은 3D-CNN 기반 모델보다 훨씬 적은 학습 시간을 요구한다. 예를 들어, Houston 2013에서 3DCNN에 비해 학습 시간의 10% 미만으로 수행된다.
• 성능과 계산 비용 사이의 균형을 잘 확보하여, 모든 데이터셋에서 SSRN보다 정확도와 학습 효율성 측면에서 뛰어난 성능을 보였다.