[논문 리뷰] Homogeneous Network Embedding for Massive Graphs via Personalized PageRank.

Renchi Yang, J. Y. Shi외 3명|arXiv (Cornell University)|2019. 06. 17.

Complex Network Analysis Techniques인용 수 3

한 줄 요약

이 논문은 노드의 차수 재가중 기법을 사용한 개인화된 페이지랭크를 활용하여 거대한 그래프에서 동종 네트워크 임베딩을 위한 확장성 있고 효율적인 방법인 Node-Reweighted PageRank(NRP)을 제안한다. NRP는 링크 예측, 노드 분류, 그래프 재구성에서 최신 기술 수준의 성능을 달성하며, 단일 CPU 코어에서 4시간 이내에 수십억 간선의 그래프에까지 스케일링할 수 있다.

ABSTRACT

Given an input graph G and a node v in G, homogeneous network embedding (HNE) maps the graph structure in the vicinity of v to a compact, fixed-dimensional feature vector. This paper focuses on HNE for massive graphs, e.g., with billions of edges. On this scale, most existing approaches fail, as they incur either prohibitively high costs, or severely compromised result utility. Our proposed solution, called Node-Reweighted PageRank (NRP), is based on a classic idea of deriving embedding vectors from pairwise personalized PageRank (PPR) values. Our contributions are twofold: first, we design a simple and efficient baseline HNE method based on PPR that is capable of handling billion-edge graphs on commodity hardware; second and more importantly, we identify an inherent drawback of vanilla PPR, and address it in our main proposal NRP. Specifically, PPR was designed for a very different purpose, i.e., ranking nodes in G based on their relative importance from a source node's perspective. In contrast, HNE aims to build node embeddings considering the whole graph. Consequently, node embeddings derived directly from PPR are of suboptimal utility. The proposed NRP approach overcomes the above deficiency through an effective and efficient node reweighting algorithm, which augments PPR values with node degree information, and iteratively adjusts embedding vectors accordingly. Overall, NRP takes O(mlogn) time and O(m) space to compute all node embeddings for a graph with m edges and n nodes. Our extensive experiments that compare NRP against 18 existing solutions over 7 real graphs demonstrate that NRP achieves higher result utility than all the solutions for link prediction, graph reconstruction and node classification, while being up to orders of magnitude faster. In particular, on a billion-edge Twitter graph, NRP terminates within 4 hours, using a single CPU core.

연구 동기 및 목표

• 수십억 간선을 가진 거대한 그래프에서 기존 동종 네트워크 임베딩(HNE) 방법의 확장성과 기능성 한계를 해결하기 위해.
• 기본 개인화된 페이지랭크(PPR)와 HNE 목표 사이의 내재된 불일치를 규명하고 해결하기 위해, 여기서 PPR은 구조적 표현보다 순위 매기기 중심이기 때문이다.
• 고품질의 임베딩을 유지하면서도 확장성 확보가 가능한 경량의, 일반 하드웨어와 호환되는 HNE 방법을 설계하기 위해.
• PPR에 노드의 차수 정보를 통합하여 학습된 임베딩의 표현 충실도를 향상시키기 위해.

제안 방법

• NRP는 노드의 차수를 PPR 값에 통합하는 노드 재가중 메커니즘을 도입하여 기본 PPR을 확장함으로써, 노드의 구조적 역할을 더 잘 반영하도록 한다.
• 이 방법은 재가중된 PPR 점수를 반복적으로 조정하여 임베딩 벡터를 업데이트함으로써, 전반적인 그래프 구조를 더 잘 포착할 수 있도록 한다.
• 시간 복잡도는 O(m log n), 공간 복잡도는 O(m)을 유지하여, 수십억 간선의 그래프에서도 효율적인 계산이 가능하다.
• 재가중 과정은 계산적으로 가볍게 설계되어, PPR의 효율성을 유지하면서도 임베딩의 기능성을 향상시킨다.
• 각 노드에 대해 재가중된 PPR 값에서 유도된 고정 차원의 벡터 표현을 사용한다.
• 알고리즘은 단일 CPU 코어에서 구현되어 전용 인프라 없이도 일반 하드웨어에서 배포 가능하다.

실험 결과

연구 질문

• RQ1 PPR 기반 방법이 거대한 그래프에서 동종 네트워크 임베딩에 대해 확장성과 효과성을 동시에 확보할 수 있는가?
• RQ2 PPR에 노드의 차수 정보를 통합하면 학습된 노드 임베딩의 기능성이 향상되는가?
• RQ3 여러 후행 작업에서 NRP는 기존 18개의 HNE 방법과 비교해 성능과 효율성 면에서 어떻게 다른가?
• RQ4 단일 CPU 코어에서 수십억 간선의 그래프에서 4시간 이내에 실행되면서도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 노드 재가중 메커니즘이 기본 PPR의 HNE에 대한 내재적 한계를 효과적으로 수정하는가?

주요 결과

• NRP는 링크 예측, 그래프 재구성, 노드 분류 작업에서 비교한 18개의 방법보다 모두 높은 결과 기능성을 달성한다.
• 수십억 간선의 트위터 그래프에서 NRP는 단일 CPU 코어를 사용해 4시간 이내에 완료되어 뛰어난 확장성을 보였다.
• NRP는 빠른 속도와 정확도 면에서 기존 방법을 모두 능가하며, 런타임에서 몇 개의 지수 수준까지의 성능 향상을 기록했다.
• 재가중을 통해 노드의 차수 정보를 통합함으로써, 기본 PPR에 비해 임베딩 품질이 크게 향상되었다.
• 시간 복잡도 O(m log n)와 공간 복잡도 O(m)을 유지하여, 일반 하드웨어에서 거대한 그래프를 효율적으로 처리할 수 있었다.
• 7개의 실세계 그래프에 대한 광범위한 실험을 통해 NRP는 다양한 그래프 구조와 작업에서 뛰어난 강건성과 우수성을 입증했다.