[논문 리뷰] Efficient Graph Computation for Node2Vec

Dongyan Zhou, Songjie Niu외 1명|arXiv (Cornell University)|2018. 05. 01.

Advanced Graph Neural Networks참고 문헌 18인용 수 12

한 줄 요약

이 논문은 전이 확률을 요청 시 계산하고 고도수 정점에 최적화함으로써 대규모 그래프에서 Node2Vec을 효율적으로 계산하는 Pregel 유사 분산 프레임워크인 Fast-Node2Vec을 제안한다. 이는 Spark-Node2Vec 대비 7.7–122배의 속도 향상을 달성하고 기준 방법 대비 최대 17.2배의 성능 향상을 이끌어내어 중간 규모의 하드웨어로도 10억 정점 그래프에서 확장 가능하고 고품질의 특징 학습을 가능하게 한다.

ABSTRACT

Node2Vec is a state-of-the-art general-purpose feature learning method for network analysis. However, current solutions cannot run Node2Vec on large-scale graphs with billions of vertices and edges, which are common in real-world applications. The existing distributed Node2Vec on Spark incurs significant space and time overhead. It runs out of memory even for mid-sized graphs with millions of vertices. Moreover, it considers at most 30 edges for every vertex in generating random walks, causing poor result quality. In this paper, we propose Fast-Node2Vec, a family of efficient Node2Vec random walk algorithms on a Pregel-like graph computation framework. Fast-Node2Vec computes transition probabilities during random walks to reduce memory space consumption and computation overhead for large-scale graphs. The Pregel-like scheme avoids space and time overhead of Spark's read-only RDD structures and shuffle operations. Moreover, we propose a number of optimization techniques to further reduce the computation overhead for popular vertices with large degrees. Empirical evaluation show that Fast-Node2Vec is capable of computing Node2Vec on graphs with billions of vertices and edges on a mid-sized machine cluster. Compared to Spark-Node2Vec, Fast-Node2Vec achieves 7.7--122x speedups.

연구 동기 및 목표

• 10억 개 이상의 정점과 간선을 가진 대규모 그래프에서 기존 Node2Vec 구현의 확장성 한계를 해결하기 위해.
• Spark-Node2Vec가 각 정점의 이웃 샘플링을 30개 이내로 제한하고 과도한 셔플 및 RDD 오버헤드를 유발함으로써 결과 품질이 떨어지고 메모리 오버헤드가 높은 문제를 해결하기 위해.
• Spark의 읽기 전용 RDD와 I/O 집약적인 셔플 작업을 피함으로써 중간 규모의 머신 클러스터에서 효율적이고 정확한 Node2Vec 계산을 가능하게 하기 위해.
• 비대칭 그래프에서 고도수 정점의 성능을 향상시키기 위한 최적화 기법—FN-Cache 및 FN-Approx—를 설계하고 평가하기 위해.
• 중간 규모의 컴퓨팅 자원만으로도 고품질이고 확장 가능한 Node2Vec 특징 학습이 가능하다는 것을 입증하기 위해.

제안 방법

• Fast-Node2Vec는 Spark의 읽기 전용 RDD와 비용이 많이 드는 셔플 작업을 피하기 위해 Pregel 유사 그래프 계산 프레임워크를 사용한다.
• 전이 확률을 사전에 저장하는 대신 랜덤 워크 도중 요청 시 계산함으로써 대규모 그래프에서 메모리 사용량을 크게 줄인다.
• 각 정점이 메시지를 수신하여 다음 단계의 랜덤 워크를 생성하는 정점 중심 계산 모델을 채택한다.
• FN-Cache는 자주 액세스되는 고도수 정점의 전이 확률을 캐시하여 중복 계산을 줄인다.
• FN-Approx는 샘플링을 통해 고도수 정점의 전이 확률을 근사함으로써 약간의 정확도 손실을 감수하고도 높은 성능 향상을 이룬다.
• 시스템은 다양한 정도의 도수 비대칭성을 가진 합성 Skew-K 그래프를 대상으로 평가되어 최적화 기법의 효과가 그래프 구조에 어떻게 영향을 미치는지 분석된다.

실험 결과

연구 질문

• RQ1 중간 규모의 머신 클러스터만으로도 10억 정점 그래프에서 Node2Vec을 효율적으로 계산할 수 있는가?
• RQ2 사전에 전이 확률을 저장하는 것과 비교해 요청 시 계산하는 방식이 왜 메모리 오버헤드를 줄이는가?
• RQ3 FN-Cache 및 FN-Approx와 같은 최적화 기법이 비대칭 그래프의 고도수 정점에서 성능 향상에 얼마나 기여하는가?
• RQ4 그래프의 도수 비대칭성이 Fast-Node2Vec의 최적화 기법 성능에 어떤 영향을 미치는가?
• RQ5 대규모 그래프에서 근사적이고 정확한 Node2Vec 계산 간의 정확도와 성능 간의 상충 관계는 어떠한가?

주요 결과

• Fast-Node2Vec는 대규모 그래프에서 Spark-Node2Vec 대비 7.7–122배의 속도 향상을 달성하여 뚜렷한 성능 향상을 입증한다.
• 요청 시 전이 확률을 계산하는 방식은 메모리 오버헤드를 줄이고 모든 전이 확률을 저장할 필요 없이도 확장 가능성을 보장한다.
• FN-Cache는 비대칭성이 높은 그래프에서 기준 모델인 FN-Base 대비 최대 2.68배의 속도 향상을 달성하며, 특히 고도수 정점에서 유의미한 성능 향상을 이룬다.
• FN-Approx는 비대칭 그래프에서 FN-Base 대비 최대 17.2배의 속도 향상을 달성하여 결과 품질에 미치는 영향은 최소화하면서도 높은 성능 향상을 보였다.
• 그래프의 비대칭성이 증가함에 따라(Skew-5 등), FN-Cache와 FN-Approx의 이점이 크게 증가하여 실제 파워 라우프 도수 분포를 가진 실세계 그래프에서의 효과성을 확인했다.
• 12노드 클러스터만으로도 최대 10억 정점과 간선을 가진 그래프에서 Node2Vec 계산을 성공적으로 수행하여 중간 규모 자원 환경에서도 가능함을 입증했다.