[논문 리뷰] Spectral Pyramid Graph Attention Network for Hyperspectral Image Classification

Tinghuai Wang, Guangming Wang외 2명|arXiv (Cornell University)|2020. 01. 20.

Remote-Sensing Image Classification참고 문헌 13인용 수 8

한 줄 요약

이 논문은 고분광 영상 분류를 위해 스펙트럼 피라미드 그래프 주의망(SPGAT)을 제안한다. 이는 확장된 컨볼루션을 활용해 다중 척도 스펙트럼 맥락을 포착하고, 그래프 주의 메커니즘을 통해 공간-스펙트럼 상관관계를 동적으로 모델링한다. 제안된 방법은 세 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성하였으며, 기준 모델 대비 최대 3.67% 향상된 전체 정확도(OA)를 기록하였다.

ABSTRACT

Convolutional neural networks (CNN) have made significant advances in hyperspectral image (HSI) classification. However, standard convolutional kernel neglects the intrinsic connections between data points, resulting in poor region delineation and small spurious predictions. Furthermore, HSIs have a unique continuous data distribution along the high dimensional spectrum domain - much remains to be addressed in characterizing the spectral contexts considering the prohibitively high dimensionality and improving reasoning capability in light of the limited amount of labelled data. This paper presents a novel architecture which explicitly addresses these two issues. Specifically, we design an architecture to encode the multiple spectral contextual information in the form of spectral pyramid of multiple embedding spaces. In each spectral embedding space, we propose graph attention mechanism to explicitly perform interpretable reasoning in the spatial domain based on the connection in spectral feature space. Experiments on three HSI datasets demonstrate that the proposed architecture can significantly improve the classification accuracy compared with the existing methods.

연구 동기 및 목표

• 고분광 영상(HSIs)의 내재된 공간-스펙트럼 관계를 포착하는 데에 표준 컨volution 네트워크(CNNs)의 한계를 해결하기 위해.
• 고정된 수신 영역과 등방성 커널 행동을 가지는 표준 컨볼루션의 한계를 극복하여 영역 경계를 명확히 하고 임의의 예측을 방지하기 위해.
• 높은 스펙트럼 차원성과 제한된 레이블 데이터에도 불구하고 다중 척도 스펙트럼 맥락을 효과적으로 모델링하기 위해.
• 고정된 공간 격자 대신 스펙트럼 특징 유사도 기반으로 동적으로 그래프를 구성하여 추론 능력을 향상시키기 위해.
• 다양한 맥락 수준에서 분류에 유용한 스펙트럼 채널에 주의를 기울여 특징 집합을 향상시키기 위해.

제안 방법

• 다양한 확장률(dilation rates)을 가진 확장 컨볼루션을 사용하여 스펙트럼 피라미드를 구축하고, 여러 임bedding 공간에 걸쳐 다중 척도 스펙트럼 맥락 정보를 인코딩한다.
• 각 스펙트럼 임베딩 공간에서, 인접한 픽셀 간의 동적이고 학습 가능한 관계를 스펙트럼 특징 유사도 기반으로 모델링하기 위해 그래프 주의망(GAT)을 적용한다.
• 그래프 노드는 스펙트럼 및 공간적 근접도를 기반으로 이웃의 중요도를 가중치를 두는 주의 메커니즘을 사용해 동적으로 연결된다.
• 다양한 맥락 수준에서 특징을 집약하기 위해 스펙트럼 주의 블록을 사용하며, 단순 평균화 대신 가장 분류에 유용한 채널에 집중한다.
• 모델은 스펙트럼 피라미드 학습과 기반 그래프 추론을 통합하여 특징 표현을 향상시키는 엔드 투 엔드 학습이 가능한 아키텍처를 갖춘다.
• 스펙트럼 집약 단계에서 다중 헤드 주의를 사용하여 맥락 범위에 따라 정보가 많은 스펙트럼 대역을 강조한다.

실험 결과

연구 질문

• RQ1 고차원 스펙트럼과 제한된 레이블을 가진 고분광 영상에서 다중 척도 스펙트럼 맥락 표현이 분류 성능 향상에 기여할 수 있는가?
• RQ2 스펙트럼 특징 유사도 기반 동적 그래프 구축 방식이 고정된 공간 격자 대비 공간-스펙트럼 추론 능력을 어떻게 향상시키는가?
• RQ3 다양한 스펙트럼 맥락에서 주의 기반 특징 집약 방식이 그래프 기반 모델에서 단순 평균화 방식보다 우월한가?
• RQ4 제안된 그래프 주의 메커니즘이 얼마나 효과적으로 잘못된 예측을 줄이고 영역 경계를 명확히 하는가?
• RQ5 표준 고분광 영상 벤치마크에서 스펙트럼 피라미드와 그래프 주의의 통합이 기존의 GCN 및 CNN 기반 방법보다 우수한가?

주요 결과

• 파비아 대학교 데이터셋에서 SPGAT는 전체 정확도(OA) 98.92%를 기록하여 기준 모델인 SPGAT-1(95.25%)보다 3.67% 높은 성능을 보였다.
• 그래프 주의 레이어를 표준 GCN로 대체한 SPGCN의 경우 OA가 96.37%로 떨어졌으며, 이는 주의 메커니즘이 성능 향상에 중대한 기여를 한다는 것을 시사한다.
• 단순 평균화 방식(SP GAT-Avg) 대비 스펙트럼 주의 블록이 OA를 0.31% 향상시켜 선택적 특징 집약의 가치를 입증하였다.
• 인디언 파인스 데이터셋에서 SPGAT는 96.75%의 OA를 기록하여 SSLSTM 및 LBMSELM을 포함한 모든 비교 모델을 능가하였다.
• 켄네디 스페이스 센터 데이터셋에서 SPGAT는 98.15%의 OA를 기록하여 SSLSTM(97.89%) 및 기타 그래프 기반 방법을 능가하였다.
• 켄네디 스페이스 센터 데이터셋에서 SPGAT는 Kappa 계수 97.84를 기록하여, 다양한 데이터셋에서의 강건성과 일관성을 확인하였다.