[논문 리뷰] Hierarchical Message-Passing Graph Neural Networks

Zhiqiang Zhong, Cheng–Te Li외 1명|arXiv (Cornell University)|2020. 09. 08.

Advanced Graph Neural Networks참고 문헌 42인용 수 7

한 줄 요약

이 논문은 공동체 탐지 기반으로 계층적 슈퍼그래프 구조를 구성함으로써 장거리 메시지 전파를 향상시키고 다중 해상도 의미를 포착하는 Hierarchical Message-Passing Graph Neural Networks (HMGNNs)를 제안한다. 제안된 HC-GNN 모델은 전도적, 인도적, 소수 샘플 설정에서 9개 데이터셋에 대해 노드 분류, 링크 예측, 공동체 탐지 작업에서 최신 기술을 초월한다.

ABSTRACT

Graph Neural Networks (GNNs) have become a prominent approach to machine learning with graphs and have been increasingly applied in a multitude of domains. Nevertheless, since most existing GNN models are based on flat message-passing mechanisms, two limitations need to be tackled: (i) they are costly in encoding long-range information spanning the graph structure; (ii) they are failing to encode features in the high-order neighbourhood in the graphs as they only perform information aggregation across the observed edges in the original graph. To deal with these two issues, we propose a novel Hierarchical Message-passing Graph Neural Networks framework. The key idea is generating a hierarchical structure that re-organises all nodes in a flat graph into multi-level super graphs, along with innovative intra- and inter-level propagation manners. The derived hierarchy creates shortcuts connecting far-away nodes so that informative long-range interactions can be efficiently accessed via message passing and incorporates meso- and macro-level semantics into the learned node representations. We present the first model to implement this framework, termed Hierarchical Community-aware Graph Neural Network (HC-GNN), with the assistance of a hierarchical community detection algorithm. The theoretical analysis illustrates HC-GNN's remarkable capacity in capturing long-range information without introducing heavy additional computation complexity. Empirical experiments conducted on 9 datasets under transductive, inductive, and few-shot settings exhibit that HC-GNN can outperform state-of-the-art GNN models in network analysis tasks, including node classification, link prediction, and community detection. Moreover, the model analysis further demonstrates HC-GNN's robustness facing graph sparsity and the flexibility in incorporating different GNN encoders.

연구 동기 및 목표

• 평탄한 메시지 전달 GNN의 장거리 의존성과 고차원 그래프 의미를 포착하는 데 한계가 있음을 해결하기 위해.
• 계층적 슈퍼그래프 구조를 통해 상하위 수준 간 및 내부 수준 간 메시지 전달을 통해 효율적인 장거리 정보 흐름을 가능하게 하기 위해.
• 공동체 및 연구 분야와 같은 메조 및 마크로 수준의 그래프 의미를 노드 표현에 통합하기 위해.
• 다양한 GNN 인코더와 계층적 공동체 탐지 알고리즘과 호환 가능한 유연한 프레임워크를 설계하기 위해.
• 그래프 희소성에 대응하는 강건성과 전도적, 인도적, 소수 샘플 학습 설정 간의 일반화 능력을 입증하기 위해.

제안 방법

• 루바인 또는 지르반-뉴먼과 같은 계층적 공동체 탐지 알고리즘을 사용해 노드를 반복적으로 공동체로 군집화하여 계층적 슈퍼그래프를 구축하기.
• 각 슈퍼그래프 수준 내에서 메시지 전달을 통해 슈퍼노드 간 국소 정보를 집계하기.
• 계층 수준 간 메시지 전달을 통해 슈퍼노드 간의 단거리 연결을 통해 장거리 정보 흐름을 가능하게 하기.
• 각 슈퍼노드 내에서 노드 수준 표현 학습을 위한 주된 GNN 인코더(예: GCN, GAT, GCNII)를 사용하기.
• 먼저 수준 내에서, 그 다음 수준 간에서 메시지 전달을 수행하는 이중 단계 메시지 전달 메커니즘을 적용하여 국소적 및 전역적 의미를 유지하기.
• GNN 인코더와 계층적 구조 생성 방법을 교환 가능하게 함으로써 모델의 유연성 확보하기.

실험 결과

연구 질문

• RQ1 평탄한 메시지 전달 방식에 비해 계층적 메시지 전달 메커니즘이 GNN에서 장거리 정보 집약에 개선을 이룰 수 있는가?
• RQ2 계층적 슈퍼그래프를 통한 메조 및 마크로 수준 의미의 통합이 노드 표현 학습을 향상시키는가?
• RQ3 그래프 희소성 상황(예: 개인정보 또는 노이즈로 인한 간선 제거)에서 HC-GNN의 성능은 어떠한가?
• RQ4 GCNII와 같은 고급 GNN 인코더와 HC-GNN을 효과적으로 조합할 수 있는가?
• RQ5 전도적, 인도적, 소수 샘플 학습 설정 전반에서 계층적 메시지 전달 프레임워크는 강건한가?

주요 결과

• HC-GNN은 노드 분류, 링크 예측, 공동체 탐지 작업에서 9개 벤치마크 데이터셋에서 최신 기술 성능을 달성했다.
• Cora, Citeseer, PubMed에서 HC-GNN이 GCNII를 사용할 경우 각각 마이크로-F1 점수 0.841, 0.734, 0.816을 기록하여 GCNII 단독 성능을 초월했다.
• 전도적 노드 분류 설정에서 Cora와 Citeseer에서 HC-GNN은 GCN, GAT, GCNII 대비 마이크로-F1에서 3.2–4.3% 향상된 성능을 보였다.
• 간선 제거 비율이 10–50%인 그래프 희소성 조건에서도 HC-GNN은 베이스라인 대비 뛰어난 성능을 유지하여 간선 손실에 대한 강건성을 입증했다.
• 루바인 기반 계층적 구조를 사용한 HC-GNN이 지르반-뉴먼 버전보다 성능이 뛰어나, 계층적 구조의 품질이 성능에 상당한 영향을 미친다는 것을 시사했다.
• 제거 분석 결과, 고급 GNN 인코더(GCNII 등)가 HC-GNN의 계층적 메시지 전달 기능에서 유의미한 이점을 얻음을 확인하여, 프레임워크의 호환성과 효과성을 입증했다.