[논문 리뷰] Multi-scale Dynamic Graph Convolutional Network for Hyperspectral Image Classification

Sheng Wan, Chen Gong외 4명|arXiv (Cornell University)|2019. 05. 14.

Remote-Sensing Image Classification참고 문헌 68인용 수 12

한 줄 요약

이 논문은 고분 giải도 영상 분류를 위해 다중 척도 동적 그래프 컨볼루션 네트워크(MDGCN)를 제안한다. 이는 컨볼루션 중 그래프 구조를 동적으로 갱신하여 공간-스펙트럼 상관관계를 더 잘 포착하고 경계 세부 정보를 유지한다. 다중 척도 그래프와 적응형 그래프 학습을 통합함으로써, 기준 데이터셋에서 최고 성능을 기록하며 정확도와 효율성이 향상된다.

ABSTRACT

Convolutional Neural Network (CNN) has demonstrated impressive ability to represent hyperspectral images and to achieve promising results in hyperspectral image classification. However, traditional CNN models can only operate convolution on regular square image regions with fixed size and weights, so they cannot universally adapt to the distinct local regions with various object distributions and geometric appearances. Therefore, their classification performances are still to be improved, especially in class boundaries. To alleviate this shortcoming, we consider employing the recently proposed Graph Convolutional Network (GCN) for hyperspectral image classification, as it can conduct the convolution on arbitrarily structured non-Euclidean data and is applicable to the irregular image regions represented by graph topological information. Different from the commonly used GCN models which work on a fixed graph, we enable the graph to be dynamically updated along with the graph convolution process, so that these two steps can be benefited from each other to gradually produce the discriminative embedded features as well as a refined graph. Moreover, to comprehensively deploy the multi-scale information inherited by hyperspectral images, we establish multiple input graphs with different neighborhood scales to extensively exploit the diversified spectral-spatial correlations at multiple scales. Therefore, our method is termed 'Multi-scale Dynamic Graph Convolutional Network' (MDGCN). The experimental results on three typical benchmark datasets firmly demonstrate the superiority of the proposed MDGCN to other state-of-the-art methods in both qualitative and quantitative aspects.

연구 동기 및 목표

• 고정된 가중치와 고정된 수신장이 있는 CNN의 한계를 해결하기 위해, 비정규적인 공간 구조를 포착하고 고분해도 영상의 클래스 경계를 유지하는 데 목적이 있다.
• 기존 GCN에서의 정적 그래프 표현 방식이 다양한 국소 패턴과 스펙트럼-공간 상관관계에 적응하지 못하는 문제를 해결하기 위해 목적이 있다.
• 다양한 이웃 범위 척도에서 그래프를 구축하여 다중 척도 공간적 맥락을 활용함으로써 종합적인 특징 학습을 목적으로 한다.
• 그래프 구조와 특징 표현이 반복적으로 개선되는 공동 최적화 프레임워크를 개발하여 분류 성능을 향상시키는 데 목적이 있다.
• 특히 경계 영역에서 뛰어난 분류 정확도를 달성하면서도 계산 효율성을 유지하는 데 목적이 있다.

제안 방법

• 다양한 이웃 범위 척도(s=1,2,3 등)에서 입력 그래프를 다수 구축하여 다중 척도 스펙트럼-공간 상관관계를 포착한다.
• 특징 유사도에 기반해 전방향 계산 중에 그래프 구조를 반복적으로 갱신하는 동적 그래프 학습 메커니즘을 적용한다.
• 동적으로 갱신된 그래프 위에서 그래프 컨볼루션을 수행함으로써 모델이 관련 국소 영역에 적응적으로 집중하고 특징의 분류 능력을 향상시킨다.
• 그래프 갱신 과정은 미분 가능하고 엔드 투 엔드로 학습 가능하므로 그래프 구조와 노드 표현을 공동 최적화할 수 있다.
• 그래프 크기와 계산 비용을 줄이기 위해 슈퍼픽셀 기반 방법을 사용하여 성능 손실 없이 효율성을 향상시킨다.
• 스킵 연결을 갖춘 다단계 GCN 아키텍처를 사용하여 레이어 간 특징을 통합하고 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 동적으로 갱신되는 그래프가 국소 공간-스펙트럼 의존성을 더 잘 모델링함으로써 고분해도 영상 분류 성능을 향상시킬 수 있는가?
• RQ2 단일 척도 또는 고정 그래프에 비해 다중 척도 그래프를 통합함으로써 더 나은 특징 표현과 분류 정확도를 달성할 수 있는가?
• RQ3 기존의 CNN이나 고정 그래프 기반 모델에 비해 제안된 방법이 더 효과적으로 세밀한 경계 세부 정보를 유지할 수 있는가?
• RQ4 표준 고분해도 기준 데이터셋에서 제안된 MDGCN은 최고 수준의 방법들에 비해 성능과 효율성 면에서 어떻게 비교되는가?
• RQ5 분류 정확도와 강건성 향상에 기여하는 동적 그래프 학습 방식과 정적 그래프 구조 간의 기여도는 각각 얼마인가?

주요 결과

• Indian Pines 데이터셋에서 MDGCN은 전체 정확도(OA) 98.4%를 달성하여 두 번째로 우수한 성능을 보인 HiFi보다 1.2%p 높게 기록했다.
• University of Pavia 데이터셋에서 MDGCN은 OA 98.7%를 기록하여 다음으로 우수한 성능을 보인 JSDF보다 1.1%p 높았다.
• Kennedy Space Center 데이터셋에서 MDGCN은 OA 97.9%를 기록하여 두 번째로 뛰어난 성능을 보인 DR-CNN보다 1.3%p 높았다.
• 고정 그래프 기반 베이스라인(MGCN)에 비해 동적 그래프 메커니즘이 OA를 1.5–2.0%p 향상시켜 그 효과를 입증했다.
• 스퍼피셀 기반 그래프 압축 덕분에 다수의 그래프를 사용함에도 불구하고 모든 비교 모델 중에서 가장 낮은 실행 시간을 기록했다—Indian Pines에서는 74초, PaviaU에서는 258초, KSC에서는 20초였다.
• 시각적 분석 결과, MDGCN은 GCN, S2GCN, R-2D-CNN 및 기타 최고 수준의 방법들보다 경계 영역에서 더 단단하고 정확한 분류 지도를 생성했으며, 오분류 수가 더 적었다.