[논문 리뷰] Semi-supervised Hyperspectral Image Classification with Graph Clustering Convolutional Networks

Hao Zeng, Qingjie Liu외 3명|arXiv (Cornell University)|2020. 12. 20.

Remote-Sensing Image Classification참고 문헌 51인용 수 6

한 줄 요약

이 논문은 그래프 클러스터링 컨volution 네트워크를 사용한 반감독 학습 히퍼스pek트럴 이미지 분류 프레임워크를 제안하며, 두 단계의 클러스터링을 적용한다: 먼저 초픽셀 분할을 통해 그래프 크기와 복잡도를 줄이고, 그 다음 간선 제거를 통한 엣지 프루닝을 통해 높은 유사도 노드 간 상관관계를 강화한다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 계산 비용을 감소시킨다.

ABSTRACT

Hyperspectral image classification (HIC) is an important but challenging task, and a problem that limits the algorithmic development in this field is that the ground truths of hyperspectral images (HSIs) are extremely hard to obtain. Recently a handful of HIC methods are developed based on the graph convolution networks (GCNs), which effectively relieves the scarcity of labeled data for deep learning based HIC methods. To further lift the classification performance, in this work we propose a graph convolution network (GCN) based framework for HSI classification that uses two clustering operations to better exploit multi-hop node correlations and also effectively reduce graph size. In particular, we first cluster the pixels with similar spectral features into a superpixel and build the graph based on the superpixels of the input HSI. Then instead of performing convolution over this superpixel graph, we further partition it into several sub-graphs by pruning the edges with weak weights, so as to strengthen the correlations of nodes with high similarity. This second round of clustering also further reduces the graph size, thus reducing the computation burden of graph convolution. Experimental results on three widely used benchmark datasets well prove the effectiveness of our proposed framework.

연구 동기 및 목표

• 히퍼스펙트럴 이미지(HSI) 분류에서 레이블이 부족한 문제를 해결하기 위해 반감독 학습 그래프 컨volution 네트워크(GCNs)를 활용하는 것.
• 픽셀 수준의 그래프를 초픽셀 기반 그래프로 변환하여 HSI 분류의 계산 복잡도를 감소시키는 것.
• 약한 가중치를 가진 엣지를 제거하는 방식으로 그래프 파artitioning을 통해 고유사도 연결을 강화함으로써 노드 상관관계 모델링을 향상시키는 것.
• 계층적 클러스터링과 그래프 파artitioning을 통해 다단계 상관관계를 활용하여 분류 성능을 향상시키는 것.

제안 방법

• 초기 그래프 크기 감소와 레이블 분포 균형을 위해, 스펙트럼 특징이 유사한 픽셀들을 초픽셀로 군집화하기 위해 초다양체 다각형 SLIC(HMS)을 적용한다.
• 공간적 및 스펙트럼적 유사성을 유지하기 위해 다중 척도 인접성 관계와 유클리드 거리 순위를 사용하여 초픽셀 기반 그래프를 구축한다.
• 낮은 가중치를 가진 엣지를 제거하는 그래프 파artitioning 방법을 통해 초픽셀 그래프를 하위 그래프로 추가로 분할한다. 이는 고유사도 연결을 강화한다.
• 분할된 하위 그래프에 그래프 컨볼루션 연산을 적용하여 레이블 정보를 전파하고 특징 표현을 향상시킨다.
• 반감독 학습을 위해 레이블이 부여된 초픽셀과 레이블이 없는 초픽셀을 모두 활용하는 GCN 기반 분류기 프레임워크를 사용한다.
• 성능 최적화를 위해 이격수(k), 다중 척도 인접성(o), 하위 그래프 수(c) 등의 하이퍼파ram터를 조정한다.

실험 결과

연구 질문

• RQ1 그래프 구축 시 이중 클러스터링이 반감독 학습 HSI 분류의 정확도 향상에 기여하는가?
• RQ2 초픽셀 기반 그래프 구축 방식은 HSI 분류의 계산 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 엣지 프루닝을 통한 그래프 파artitioning이 노드 상관관계 모델링 향상과 노이즈 감소에 얼마나 기여하는가?
• RQ4 다양한 HSI 데이터셋에서 분류 정확도를 최대화하기 위한 하이퍼파ram터(k, o, c)의 최적 구성은 무엇인가?
• RQ5 제안된 방법은 기존의 GCN 기반 및 초픽셀 기반 HSI 분류 방법보다 정확도와 추론 속도 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• 제안된 방법은 인디언 파인스, 파리 대학교, 살리나스 세 벤치마크 데이터셋에서 최신 기술 수준의 분류 정확도를 달성한다.
• 인디언 파인스, 파리 대학교, 살리나스 데이터셋에 대해 각각 k=5, k=2, k=9를 사용할 경우 최고의 성능를 기록하며, 이는 데이터셋에 따라 최적의 이웃 수가 다름을 시사한다.
• 초픽셀 그래프를 c=7과 c=5로 파artitioning한 경우, 파리 대학교에서 1.44% 향상되고 살리나스에서 1.02% 향상되어, 파artitioning이 정확도 향상에 기여함을 입증한다.
• 대규모 데이터셋인 파리 대학교와 살리나스에서 기준 모델인 MDGCN과 RNN에 비해 추론 시간을 크게 단축시켜 성능을 뛰어나게 한다.
• 다중 척도 인접성(o=2)는 단일 척도 또는 다중 척도 없이 사용할 경우보다 일관되게 성능 향상을 이끌어내어 장거리 의존성을 효과적으로 포착함을 입증한다.
• 초픽셀 기반 방법 중에서 가장 낮은 테스트 시간을 기록하여, 그래프 크기 감소와 모델 구조 단순화 덕분에 뛰어난 계산 효율성을 확보한다.