[논문 리뷰] Billion-scale Network Embedding with Iterative Random Projection

Ziwei Zhang, Peng Cui외 3명|arXiv (Cornell University)|2018. 05. 07.

Advanced Graph Neural Networks참고 문헌 35인용 수 5

한 줄 요약

RandNE는 빌리언 스케일 네트워크를 위한 새로운 효율적인 네트워크 임베딩 방법으로, 고차원 노드 유사도를 명시적으로 계산하지 않고도 유지하는 반복적 가우시안 랜덤 프로젝션을 사용한다. 이 방법은 최신 기술 대비 최대 100배 빠른 속도 향상을 이룩하며, 통신이 없는 분산 계산을 지원하고, 오차 누적이 없는 동적 네트워크 업데이트를 가능하게 하며, 16台의 서버에서 250M개 노드를 가진 WeChat 네트워크의 512차원 임베딩을 7시간 이내로 생성한다.

ABSTRACT

Network embedding, which learns low-dimensional vector representation for nodes in the network, has attracted considerable research attention recently. However, the existing methods are incapable of handling billion-scale networks, because they are computationally expensive and, at the same time, difficult to be accelerated by distributed computing schemes. To address these problems, we propose RandNE (Iterative Random Projection Network Embedding), a novel and simple billion-scale network embedding method. Specifically, we propose a Gaussian random projection approach to map the network into a low-dimensional embedding space while preserving the high-order proximities between nodes. To reduce the time complexity, we design an iterative projection procedure to avoid the explicit calculation of the high-order proximities. Theoretical analysis shows that our method is extremely efficient, and friendly to distributed computing schemes without any communication cost in the calculation. We also design a dynamic updating procedure which can efficiently incorporate the dynamic changes of the networks without error aggregation. Extensive experimental results demonstrate the efficiency and efficacy of RandNE over state-of-the-art methods in several tasks including network reconstruction, link prediction and node classification on multiple datasets with different scales, ranging from thousands to billions of nodes and edges.

연구 동기 및 목표

• 기존의 네트워크 임베딩 방법들이 빌리언 스케일 네트워크에서 높은 최적화 비용과 열악한 분산 확장성으로 인해 계산적으로 불가능한 문제를 해결하기 위해.
• 고차원 유사도 행렬을 명시적으로 계산하지 않고도 고차원 유사도를 효율적으로 유지할 수 있는 방법을 설계하기 위해.
• 대규모 네트워크 임베딩을 위한 통신이 없는 분산 컴퓨팅을 가능하게 하기 위해.
• 반복 과정에서 오차가 누적되지 않도록 동적 네트워크 업데이트를 지원하기 위해.
• 실제 빌리언 스케일 네트워크에서 높은 효율성과 경쟁력 있는 성능을 동시에 달성하기 위해.

제안 방법

• 고차원 유사도를 유지하면서 네트워크 노드를 저차원 공간으로 매핑하기 위해 가우시안 랜덤 프로젝션 방법을 제안한다.
• 고차원 유사도 행렬을 명시적으로 계산하지 않는 반복적 프로젝션 절차를 도입하여 시간 복잡도를 선형으로 감소시킨다.
• 반복적 방법은 고차원 유사도 유지의 행렬 분해 목표를 연속적인 랜덤 프로젝션을 통해 근사한다.
• 이론적 분석을 통해 분산 환경에서의 계산 효율성과 통신이 없는 특성을 입증한다.
• 네트워크 변화에 따라 임베딩을 점진적으로 조정하는 동적 업데이트 절차를 통합하여 오차 누적을 방지한다.
• 랜덤화된 확장 가능한 프레임워크를 활용하여 분산 시스템과 스트리밍 데이터에 자연스럽게 호환된다.

실험 결과

연구 질문

• RQ1 희박한 빌리언 스케일 네트워크에서 고차원 유사도를 유지하기 위해 랜덤 프로젝션을 효과적으로 적용할 수 있는가?
• RQ2 반복적 프로젝션을 통해 고차원 유사도의 명시적 계산이 필요 없이도 임베딩 품질을 유지할 수 있는가?
• RQ3 통신 오버헤드 없이 분산 환경에서 선형 속도 향상을 달성할 수 있는가?
• RQ4 오차 누적이 없는 상태에서 동적 네트워크 변화를 효율적으로 처리할 수 있는가?
• RQ5 수천 개에서 수십억 개의 노드를 포함한 네트워크에서 런타임과 정확도 측면에서의 확장성은 어떠한가?

주요 결과

• RandNE는 수천에서 수십억 개의 노드와 엣지를 포함한 데이터셋에서 최신 기술 대비 최대 100배 빠른 속도 향상을 달성한다.
• WeChat 네트워크(250M개 노드, 4.8B개 엣지)에서 RandNE는 16대의 분산 서버를 사용해 7시간 이내에 512차원 임베딩을 생성한다.
• 1~4개의 서브클러스터에서 기울기가 약 0.8인 선형 속도 향상을 보이며, 강력한 분산 확장성을 입증한다.
• RandNE-D(동적 업데이트)는 RandNE-R(초기 재실행)와 동일한 AUC 점수를 달성하여 동적 환경에서 오차 누적이 없음을 입증한다.
• 링크 예측 및 노드 분류 과제에서 RandNE는 특히 고차원 유사도가 핵심적인 대규모 네트워크에서 베이스라인을 항상 초월하거나 동등하게 유지한다.
• 이론적 및 실증적 결과를 통해 RandNE가 계산적으로 효율적이며, 분산 환경에서 통신이 없는 특성을 지녔고, 동적 네트워크 진화에 대해 강건함을 확인한다.