[논문 리뷰] Band Attention Convolutional Networks For Hyperspectral Image Classification

Hongwei Dong, Lamei Zhang외 1명|arXiv (Cornell University)|2019. 06. 11.

Remote-Sensing Image ClassificationEngineering참고 문헌 25인용 수 20

한 줄 요약

이 논문은 고분광 영상(HSI) 분류를 위한 밴드 어텐션 모듈(BAM)을 제안하며, 깊은 컨volution 네트워크가 정보성 스펙트럼 밴드를 적응적으로 가중하거나 선택할 수 있도록 하여 노이즈와 중복을 감소시킨다. BAM은 기존의 CNN 아키텍처에 통합될 수 있는 플러그 앤 플레이 구성 요소로서, 엔드 투 엔드 학습이 가능하며 인디언 파인스 및 KSC와 같은 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Redundancy and noise exist in the bands of hyperspectral images (HSIs). Thus, it is a good property to be able to select suitable parts from hundreds of input bands for HSIs classification methods. In this letter, a band attention module (BAM) is proposed to implement the deep learning based HSIs classification with the capacity of band selection or weighting. The proposed BAM can be seen as a plug-and-play complementary component of the existing classification networks which fully considers the adverse effects caused by the redundancy of the bands when using convolutional neural networks (CNNs) for HSIs classification. Unlike most of deep learning methods used in HSIs, the band attention module which is customized according to the characteristics of hyperspectral images is embedded in the ordinary CNNs for better performance. At the same time, unlike classical band selection or weighting methods, the proposed method achieves the end-to-end training instead of the separated stages. Experiments are carried out on two HSI benchmark datasets. Compared to some classical and advanced deep learning methods, numerical simulations under different evaluation criteria show that the proposed method have good performance. Last but not least, some advanced CNNs are combined with the proposed BAM for better performance.

연구 동기 및 목표

• 심층 컨volution 네트워크 기반의 분류 성능을 저하시키는 고분광 영상(HSI)의 스펙트럼 중복성과 노이즈 문제를 해결하기 위함.
• 일반적인 CNN을 그대로 적용하는 것이 아니라, HSI의 특성에 맞게 맞춤형 딥러닝 프레임워크를 설계하기 위함.
• 별도의 비가역적 단계를 거치지 않고, 밴드 선택 또는 가중치 설정을 엔드 투 엔드로 학습할 수 있도록 하기 위함.
• 기존의 CNN 아키텍처를 재설계하지 않고도 성능을 향상시킬 수 있는 플러그 앤 플레이 모듈을 개발하기 위함.
• 제안된 BAM의 일반화 능력과 효과성을 다양한 CNN 백본과 벤치마크 데이터셋에서 검증하기 위함.

제안 방법

• 밴드 어텐션 모듈(BAM)은 전역 평균 풀링과 완전 연결 계층을 사용하여 스펙트럼 밴드에 대한 채널별 어텐션 가중치를 학습하도록 설계된다.
• BAM은 입력 HSI를 일련의 1D 컨볼루션과 전역 풀링을 거쳐 c개의 스펙트럼 밴드에 대해 크기 c×1인 가중치 벡터를 생성한다.
• 학습된 가중치는 채널별 곱셈을 통해 입력 밴드에 적용되어 정보성 있는 밴드를 강조하고 노이즈 또는 중복성이 높은 밴드를 억제한다.
• BAM은 표준 CNN에 플러그인 모듈로 통합되어, 밴드 가중치 설정과 분류를 함께 최적화하는 엔드 투 엔드 학습이 가능하다.
• 정보 집약을 제어하기 위해 1D 컨볼루션 레이어에서 비율 r를 사용하며, 분석 결과 r=2가 최적임을 확인하였다.
• 프레임워크는 VGGNet, ResNet, DenseNet, Xception 등을 포함한 다양한 백본을 사용하여 인디언 파인스 및 KSC 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 학습 가능한 밴드 어텐션 메커니즘이 정보성 스펙트럼 밴드를 선택적으로 강조함으로써 고분광 영상(HSI) 분류 정확도를 향상시킬 수 있는가?
• RQ2 고분광 영상 분류의 맥락에서 기존의 압축-확장(SE) 블록과 비교해 제안된 BAM은 어떻게 성능을 냈는가?
• RQ3 BAM 모듈은 다양한 CNN 아키텍처에 대해 일반화되며 일관된 성능 향상을 이끌 수 있는가?
• RQ4 학습 에포크 수, 압축 비율 r 등의 하이퍼파라미터가 BAM 기반 모델의 성능에 크게 영향을 미치는가?
• RQ5 BAM은 아키텍처 수정 없이도 기존의 CNN을 향상시키기 위한 플러그 앤 플레이 구성 요소로 사용될 수 있는가?

주요 결과

• 제안된 BAM은 KSC 데이터셋에서 최고의 전체 정확도(OA) 95.06%를 기록하여, 비교된 모든 방법(예: SE 블록, 표준 CNN)을 초월하였다.
• 인디언 파인스 데이터셋에서 BAM 기반 모델은 OA 91.38%를 달성하였으며, 기준 모델(CM) 대비 4–5% 향상되었고, SE 블록 대비 최소 2% 이상 향상되었다.
• BAM은 기준 모델(CM) 대비 KSC 데이터셋에서 OA, AA, 카파 계수 등 여러 평가 지표에서 4–5%의 정확도 향상을 보였다.
• BAM은 강력한 일반화 능력을 보였으며, ResNet, DenseNet, Xception, TSCNN 등의 고도화된 백본과 조합할 경우 일관되게 성능 향상을 이끌었다.
• 하이퍼파라미터 분석 결과, r=2 및 1000 에포크 학습 설정에서 최적의 성능을 기록하였으며, 수렴은 약 500 에포크 후 관찰되었다.
• BAM 모듈은 플러그 앤 플레이 구성 요소로서 효과적이었으며, 아키텍처 재설계 없이도 다양한 CNN 아키텍처에서 성능 향상을 이끌 수 있었다.