[논문 리뷰] Learning to Identify High Betweenness Centrality Nodes from Scratch: A Novel Graph Neural Network Approach

Changjun Fan, Li Zeng외 4명|arXiv (Cornell University)|2019. 05. 24.

Complex Network Analysis Techniques참고 문헌 41인용 수 18

한 줄 요약

이 논문은 소규모 네트워크에서 학습하고 대규모 네트워크로 일반화함으로써 높은 밀도 중심성(BC) 노드를 식별하는 데 전문화된 새로운 그래프 신경망 모델인 DeepRanker for BC를 제안한다. 이론적 기반으로는 이웃 집합화와 다층퍼셉트론 복원을 사용하는 인코더-디코더 아키텍처를 활용하며, 기존 최고 수준의 근사 방법보다 수개의 순서만큼 더 빠른 추론 속도를 달성하면서도 정점 상위 BC 노드 순위 매기기의 정확도를 유지하거나 초월한다.

ABSTRACT

Betweenness centrality (BC) is one of the most used centrality measures for network analysis, which seeks to describe the importance of nodes in a network in terms of the fraction of shortest paths that pass through them. It is key to many valuable applications, including community detection and network dismantling. Computing BC scores on large networks is computationally challenging due to high time complexity. Many approximation algorithms have been proposed to speed up the estimation of BC, which are mainly sampling-based. However, these methods are still prone to considerable execution time on large-scale networks, and their results are often exacerbated when small changes happen to the network structures. In this paper, we focus on identifying nodes with high BC in a graph, since many application scenarios are built upon retrieving nodes with top-k BC. Different from previous heuristic methods, we turn this task into a learning problem and design an encoder-decoder based framework to resolve the problem. More specifcally, the encoder leverages the network structure to encode each node into an embedding vector, which captures the important structural information of the node. The decoder transforms the embedding vector for each node into a scalar, which captures the relative rank of this node in terms of BC. We use the pairwise ranking loss to train the model to identify the orders of nodes regarding their BC. By training on small-scale networks, the learned model is capable of assigning relative BC scores to nodes for any unseen networks, and thus identifying the highly-ranked nodes. Comprehensive experiments on both synthetic and real-world networks demonstrate that, compared to representative baselines, our model drastically speeds up the prediction without noticeable sacrifce in accuracy, and outperforms the state-of-the-art by accuracy on several large real-world networks.

연구 동기 및 목표

• 수백만 개의 노드를 가진 대규모 네트워크에서 정확한 BC 계산이 계산적으로 불가능한 문제를 해결하기 위해.
• 네트워크의 변화에 민감한 느린 샘플링 기반 근사 알고리즘에 대한 의존도를 줄이기 위해.
• 상위-k개의 고-BC 노드 식별 문제를 그래프 신경망을 활용한 러닝-투-랭킹 문제로 변환하기 위해.
• 다양한 네트워크 유형에 일반화되며, 훈련 중에 보지 못한 대규모 네트워크에 효율적으로 적용 가능한 인덕티브 모델을 개발하기 위해.
• 기존 기준 대비 극적으로 감소된 추론 시간으로 상위-k개 BC 노드 순위 매기기에서 높은 정확도를 달성하기 위해.

제안 방법

• 모델는 인코더-디코더 아키텍처를 사용한다: 인코더는 구조적 중요도를 BC에 반영하는 노드 임베딩을 생성하기 위해 이웃 집합화 기반의 GNN을 활용한다.
• 디코더는 각 노드 임베딩을 스칼라 순위 점수로 매핑하는 다층퍼셉트론이다. 이 점수는 상대적인 BC 중요도를 나타낸다.
• 모델는 진짜 BC 값에 기반한 노드의 상대적 순서를 유지하도록 쌍별 순위 손실을 사용해 엔드 투 엔드로 훈련된다.
• 훈련은 소규모 사전 생성 네트워크(예: powerlaw-cluster, ER, BA 모델)에서 수행되어, 더 큰 실세계 그래프로의 일반화를 가능하게 한다.
• 인코더는 Brandes 알고리즘의 구조적 집합 패턴을 모방하여 BC 계산의 본질적 논리와 일치시킨다.
• 모델는 인덕티브이므로, 훈련 중에 보지 못한 그래프에 대해서도 예측이 가능하여, 대규모 동적 네트워크에의 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정확한 BC 값을 계산하지 않고도 그래프 신경망이 노드의 상대적 BC 순위를 효과적으로 예측할 수 있는가?
• RQ2 소규모 사전 생성 네트워크에서 훈련된 모델이 실세계 대규모 네트워크에서 상위-BC 노드를 식별하는 데 얼마나 잘 일반화되는가?
• RQ3 훈련용 네트워크 분포의 선택(예: PL-cluster, ER, BA)이 모델의 일반화 성능에 얼마나 큰 영향을 미치는가?
• RQ4 학습된 순위 매기기 모델이 기존의 샘플링 기반 근사 알고리즘보다 상위-k개 BC 노드 식별에서 빠르기와 정확도 측면에서 모두 뛰어나게 할 수 있는가?
• RQ5 어떤 아키텍처 및 훈련 선택이 최소한의 계산 비용으로도 높은 성능을 달성하는 데 기여하는가?

주요 결과

• 제안된 모델는 KADABRA 및 ABRA보다 최대 1000배 더 빠른 추론 속도를 기록했으며, 상위 1% 및 상위 5% 노드 순위 매기기에서 기존 방법과 유사하거나 더 높은 정확도를 확보했다.
• 5개의 실세계 네트워크 중 3개에서 상위 1% 및 상위 5% 정확도가 가장 높았으며, 정확한 알고리즘조차도 순위 일치도에서 뒤지지 않았다.
• 모든 데이터셋에서 정답 BC 순위와의 켄들 타우 거리가 가장 낮게 유지되어, 뛰어난 순위 질을 보였다.
• powerlaw-cluster(PL-cluster) 사전 생성 그래프에서의 훈련이 다양한 실세계 네트워크 유형에 걸쳐 가장 뛰어난 일반화 성능을 보였다.
• 수백만 개의 노드를 포함하는 네트워크에서도 높은 정확도를 유지하여 강력한 확장성과 인덕티브 편향을 입증했다.
• 샘플링 기반 방법과 달리, 네트워크의 변화에 대해 강건한 성능을 보였으며, 구조적 변화에 민감하지 않았다.