[논문 리뷰] Homogeneous Network Embedding for Massive Graphs via Reweighted Personalized PageRank

Renchi Yang, J. Y. Shi외 3명|arXiv (Cornell University)|2019. 06. 17.

Advanced Graph Neural Networks참고 문헌 71인용 수 4

한 줄 요약

이 논문은 재가중 개인화된 페이지랭크(PPR)를 사용하여 대규모 그래프에서 동질적 네트워크 임베딩을 위한 확장 가능하고 효과적인 방법인 노드 재가중 페이지랭크(NRP)를 제안한다. PPR에 노드의 차수 정보를 통합하여 국소적 편향을 보정함으로써, NRP는 링크 예측, 노드 분류, 그래프 복원 작업에서 최신 기술 수준의 성능을 달성하며, 단일 CPU 코어를 사용해 10억 개 간선을 가진 트위터 그래프에서 4시간 이내에 실행된다.

ABSTRACT

Given an input graph G and a node v in G, homogeneous network embedding (HNE) maps the graph structure in the vicinity of v to a compact, fixed-dimensional feature vector. This paper focuses on HNE for massive graphs, e.g., with billions of edges. On this scale, most existing approaches fail, as they incur either prohibitively high costs, or severely compromised result utility. Our proposed solution, called Node-Reweighted PageRank (NRP), is based on a classic idea of deriving embedding vectors from pairwise personalized PageRank (PPR) values. Our contributions are twofold: first, we design a simple and efficient baseline HNE method based on PPR that is capable of handling billion-edge graphs on commodity hardware; second and more importantly, we identify an inherent drawback of vanilla PPR, and address it in our main proposal NRP. Specifically, PPR was designed for a very different purpose, i.e., ranking nodes in G based on their relative importance from a source node's perspective. In contrast, HNE aims to build node embeddings considering the whole graph. Consequently, node embeddings derived directly from PPR are of suboptimal utility. The proposed NRP approach overcomes the above deficiency through an effective and efficient node reweighting algorithm, which augments PPR values with node degree information, and iteratively adjusts embedding vectors accordingly. Overall, NRP takes O(mlogn) time and O(m) space to compute all node embeddings for a graph with m edges and n nodes. Our extensive experiments that compare NRP against 18 existing solutions over 7 real graphs demonstrate that NRP achieves higher result utility than all the solutions for link prediction, graph reconstruction and node classification, while being up to orders of magnitude faster. In particular, on a billion-edge Twitter graph, NRP terminates within 4 hours, using a single CPU core.

연구 동기 및 목표

• 10억 개 간선을 가진 대규모 그래프에서 기존의 동질적 네트워크 임베딩(HNE) 방법의 확장성과 유용성 한계를 해결한다.
• 기본 개인화된 페이지랭크(PPR)가 HNE에 내재된 결함을 규명한다: PPR은 국소적 순위 매기기 위해 설계되었지만, 전반적인 그래프 표현을 위해선 부적절하여 임베딩 품질이 열등해진다.
• 노드의 차수 정보를 PPR에 통합하여 임베딩 품질을 향상시키면서도 효율성을 유지하는 노드 재가중 전략을 개발한다.
• 일반적인 하드웨어를 사용하여 링크 예측, 노드 분류, 그래프 복원 등의 후행 작업에서 높은 성능을 달성한다.

제안 방법

• 노드 재가중 페이지랭크(NRP)를 제안한다. 이는 표준 PPR에 노드 차수 정보를 재가중 전략을 통해 통합함으로써 향상된 HNE 방법이다.
• 정규화된 목적 함수를 최소화하기 위해 유도된 닫힌 형태의 갱신 규칙을 사용하는 반복 알고리즘을 설계하여 임베딩 벡터를 재조정한다.
• O(m log n) 시간과 O(m) 공간에서 효율적으로 임베딩을 계산하기 위해 정방향 및 역방향 가중치 갱신 메커니즘(알고리즘 2 및 4)을 사용한다. 여기서 m은 간선 수이다.
• 정확도와 수렴 속도를 제어하기 위해 매개변수 ℓ₁, ℓ₂, α, ε를 가진 매개변수화된 근사 기법을 도입하여 속도와 정밀도 사이의 트레이드오프를 가능하게 한다.
• PPR 값이 무한한 랜덤 워크를 요약한다는 사실을 활용하여, 다단계 위상적 구조를 압축하고 정보가 풍부한 대체 지표로 사용한다.
• 대칭적인 재가중 함수를 적용하여 PPR 값을 노드의 차수로 스케일링함으로써, 고차수 노드가 전반적인 구조에 의미 있게 기여하도록 하되, 전반적인 구조를 왜곡하지 않는다.

실험 결과

연구 질문

• RQ1 비용이 과도하게 증가하지 않도록 하면서도, 대규모 그래프에서 개인화된 페이지랭크를 확장 가능한 동질적 네트워크 임베딩에 효과적으로 재사용할 수 있는가?
• RQ2 기본 PPR을 HNE에 사용할 경우의 핵심 한계는 무엇이며, 이는 전반적인 그래프 표현 작업에서 임베딩 품질에 어떤 영향을 미치는가?
• RQ3 노드의 차수 정보를 PPR에 통합하여 국소적 편향을 보정하고, 후행 기계학습 작업에서 임베딩의 유용성을 향상시킬 수 있는가?
• RQ4 선형 시간 복잡도를 유지하면서도 대규모 그래프에서 임베딩 품질을 크게 향상시키는 효율적인 반복적 재가중 알고리즘을 설계할 수 있는가?

주요 결과

• NRP는 7개의 실제 그래프에서 링크 예측, 그래프 복원, 노드 분류 작업에서 비교한 18개의 방법보다 더 높은 결과 유용성을 확보한다.
• 10억 개 간선을 가진 트위터 그래프에서 NRP는 단일 CPU 코어만을 사용하여 모든 노드 임베딩을 4시간 이내에 계산하여 뛰어난 확장성을 입증한다.
• 유도형 Digg 데이터셋에서 NRP는 STRAP, VERSE, APP 등의 PPR 기반 기준 모델보다 AUC 기준 최소 0.7% 이상 높은 성능을 보이며, 변화하는 그래프에서 뛰어난 성능을 보인다.
• NRP의 실행 시간은 노드 수와 간선 수에 비례하여 선형적으로 증가하며, 이는 O(m log n) 시간 복잡도와 강력한 확장성의 정당성을 확인한다.
• ℓ₂와 ℓ₁ 매개변수를 증가시킬수록 실행 시간이 증가하지만, α는 영향을 거의 미치지 않아 이론적 시간 복잡도 모델과 일치한다.
• 노드 재가중 메커니즘이 PPR의 국소적 편향을 보정하여, 다양한 벤치마크 작업과 데이터셋에서 임베딩 품질을 크게 향상시킨다는 것이 검증되었다.