[논문 리뷰] Graph Embeddings at Scale

C. Bayan Bruss, Anish Khazane외 4명|arXiv (Cornell University)|2019. 07. 03.

Advanced Graph Neural Networks참고 문헌 17인용 수 4

한 줄 요약

이 논문은 그래프 분할 없이 대규모 그래프 임베딩을 훈련하기 위한 분산형, 파라미터 서버 기반 시스템을 제안한다. 엔티티 기반 파라미터 서버와 동적이고 크기 제한된 계산 그래프를 사용함으로써, 시스템은 GPU/CPU 자원을 효율적으로 활용할 수 있으며, 5000만 개의 정점을 가진 이질적 그래프에서 90%의 높은 링크 예측 정확도를 달성하고, 6800만 개의 정점을 가진 Friendster에서 빠른 수렴을 보인다. 작업자 노드 수가 증가할수록 성능이 향상된다.

ABSTRACT

Graph embedding is a popular algorithmic approach for creating vector representations for individual vertices in networks. Training these algorithms at scale is important for creating embeddings that can be used for classification, ranking, recommendation and other common applications in industry. While industrial systems exist for training graph embeddings on large datasets, many of these distributed architectures are forced to partition copious amounts of data and model logic across many worker nodes. In this paper, we propose a distributed infrastructure that completely avoids graph partitioning, dynamically creates size constrained computational graphs across worker nodes, and uses highly efficient indexing operations for updating embeddings that allow the system to function at scale. We show that our system can scale an existing embeddings algorithm - skip-gram - to train on the open-source Friendster network (68 million vertices) and on an internal heterogeneous graph (50 million vertices). We measure the performance of our system on two key quantitative metrics: link-prediction accuracy and rate of convergence. We conclude this work by analyzing how a greater number of worker nodes actually improves our system's performance on the aforementioned metrics and discuss our next steps for rigorously evaluating the embedding vectors produced by our system.

연구 동기 및 목표

• 수백만 개의 정점을 가진 거대한 그래프로의 그래프 임베딩 훈련을 스케일링하는 데 도전하는 것.
• 분산 훈련 시스템에서 비용이 많이 드는 그래프 분할이 필요 없도록 하는 것.
• 엔티티 기반 파라미터 서버를 사용해 작업자 노드 간에 효율적이고 동적 계산을 수행하는 것.
• 비동기 분산 훈련을 통해 수렴 속도와 링크 예측 정확도를 향상시키는 것.
• 작업자 노드 수를 늘일 경우 훈련 성능과 임베딩 품질에 미치는 영향을 평가하는 것.

제안 방법

• 입력 그래프를 고정 크기의 랜덤 워크 행렬로 변환하여, 그래프 분할 없이도 작업자 노드 간에 행 기반으로 분할할 수 있도록 한다.
• 각 작업자 노드는 각 훈련 반복마다 동적으로 텐서플로우 계산 그래프를 생성하여 GPU 메모리 사용량을 제한한다.
• 엔티티 기반 파라미터 서버는 임베딩을 저장하고 제공하며, 효율적인 인덱싱을 통해 작업자들이 필요로 하는 정점 임베딩만을 가져올 수 있도록 한다.
• 노이즈 대비 추정(NCE) 손실을 사용한 비동기 업데이트를 통해 이질적 그래프에서의 확장 가능한 훈련을 가능하게 한다.
• GPU 집약적 훈련과 CPU/메모리 기반 파라미터 저장을 분리함으로써 자원 활용도를 최적화한다.
• 시스템은 임의의 수의 작업자 노드를 지원하며, 모든 노드에 걸쳐 기울기 업데이트를 분산시켜 효율적으로 확장된다.

실험 결과

연구 질문

• RQ1 그래프 분할 없이도 그래프 임베딩 훈련을 효율적으로 확장할 수 있는 방법은 무엇인가?
• RQ2 작업자 노드 수를 늘일 경우 수렴 속도와 링크 예측 정확도에 어떤 영향을 미치는가?
• RQ3 대규모 이질적 그래프에서 훈련을 수행하더라도 높은 임베딩 품질을 유지할 수 있는가?
• RQ4 동적 계산 그래프 생성이 훈련 효율성과 GPU 활용도를 어떻게 향상시키는가?
• RQ5 비동기 엔티티 기반 파라미터 서버 통신이 확장성과 성능에 얼마나 기여하는가?

주요 결과

• 내부 이질적 그래프(5000만 개의 정점, 2.8억 개의 간선)에서 90%의 링크 예측 정확도를 달성했다.
• Friendster 데이터셋(6800만 개의 정점)에서 시스템은 빠른 수렴과 높은 링크 예측 정확도를 보였으며, 작업자 수가 증가할수록 성능이 향상되었다.
• 더 많은 작업자 노드를 사용할수록 수렴 속도가 빨라지고, 특히 스텝 300 이후에는 더 풍부한 지형 신호 통합으로 최종 정확도가 높아졌다.
• 작업자 수가 증가함에 따라 성능 저하 없이 높은 품질의 임베딩을 유지했다.
• 동적 계산 그래프와 효율적인 인덱싱을 활용해 효과적인 GPU 활용도를 달성했으며, 메모리 오버헤드를 최소화했다.
• 엔티티 기반 파라미터 서버를 사용한 비동기 훈련은 전역적으로 정규화된 업데이트를 가능하게 하여 임베딩 일반화 능력을 향상시켰다.