[논문 리뷰] Graph Partition Neural Networks for Semi-Supervised Classification

Renjie Liao, Marc Brockschmidt외 4명|arXiv (Cornell University)|2018. 03. 16.

Advanced Graph Neural Networks참고 문헌 38인용 수 45

한 줄 요약

Graph Partition Neural Networks (GPNN)은 큰 그래프를 서브그래프로 분할하고 로컬(서브그래프 내) 및 글로벌(서브그래프 간) 전파를 교대함으로써 GNNs를 확장하고, 반감 감독 노드 분류에서 더 적은 전파 단계로도 경쟁력 있는 결과를 달성합니다. 또한 빠른 파티션을 도입하고 매우 큰 그래프까지 확장합니다.

ABSTRACT

We present graph partition neural networks (GPNN), an extension of graph neural networks (GNNs) able to handle extremely large graphs. GPNNs alternate between locally propagating information between nodes in small subgraphs and globally propagating information between the subgraphs. To efficiently partition graphs, we experiment with several partitioning algorithms and also propose a novel variant for fast processing of large scale graphs. We extensively test our model on a variety of semi-supervised node classification tasks. Experimental results indicate that GPNNs are either superior or comparable to state-of-the-art methods on a wide variety of datasets for graph-based semi-supervised classification. We also show that GPNNs can achieve similar performance as standard GNNs with fewer propagation steps.

연구 동기 및 목표

• 그래프 신경망으로 매우 큰 그래프에서 학습의 도전에 동기를 부여하고 해결한다.
• 서브그래프 내 정보 흐름과 서브그래프 간 정보 흐름을 결합하는 파티션 기반 전파 스케줄을 도입한다.
• 대규모 그래프에 적합한 빠르고 확장 가능한 그래프 파티션 방법을 개발한다.
• 다양한 반감 감독 노드 분류 벤치마크에서 GPNN을 평가하고 최첨단 방법과 비교한다.

제안 방법

• 입력 그래프를 K개의 서로 불가능한 상호 배타적인 서브그래프와 컷 집합으로 분할한다.
• 컷 집합을 가로질러 서브그래프 간 전파와 병렬의 서브그래프 내부 동시 전파 사이를 교대로 수행한다.
• Graph Partition Propagation Schedule(Alg. 1)를 사용하여 서브그래프 내부 단계 TS와 서브그래프 간 단계 TC로 구성한다.
• 확장 가능한 그래프 파티션화를 위한 빠른 Modified Multi-seed Flood Fill 분할 알고리즘(Alg. 2)을 제안한다.
• 임베딩-입력 또는 피처-입력 표현을 통해 초기 노드 라벨을 처리한다.
• 향상된 성능을 위해 입력 피처를 학습된 최종 임베딩과 선택적으로 연결(concatenate)한다.

실험 결과

연구 질문

• RQ1 GPNN이 varying sizes의 그래프에서 최첨단 방법과 비교할 때 경쟁력 있는 반감 감독 노드 분류 성능을 달성할 수 있는가?
• RQ2 다양한 그래프 파티션 전략(스펙트럴 vs. 다중 시드 Flood Fill)이 대규모 그래프에서 정확도와 런타임에 어떤 영향을 미치는가?
• RQ3 파티션 기반 전파 스케줄이 완전 동기화 및 순차 스케줄과 정확도 및 계산/메모리 효율성 측면에서 어떻게 비교되는가?
• RQ4 제안된 파티션 방식으로 합리적인 학습 시간과 메모리로 아주 큰 그래프에 GNN을 확장하는 것이 가능한가?

주요 결과

• GPNN은 인용 네트워크 및 지식 그래프(Citeseer, Cora, Pubmed, NELL)에서 최첨단 방법과 동등하거나 우수하다.
• DIEL 원격 감독 작업에서, GPNN은 비교 방법 중 가장 높은 recall@k(52.11)를 달성한다.
• 수정된 multi-seed flood fill 파티션 방법은 스펙트럴 파티션링보다 대규모 그래프에서 더 빠르고 확장 가능하며, 경쟁력 있는 정확도를 보인다.
• GPNN은 표준 GNN 성능과 동등하거나 더 적은 전파 단계로 맞출 수 있어 대규모 그래프에서 효율성 향상을 가능하게 한다.