[논문 리뷰] Scalable Graph Embeddings via Sparse Transpose Proximities

Yuan Yin, Zhewei Wei|arXiv (Cornell University)|2019. 05. 16.

Advanced Graph Neural Networks참고 문헌 36인용 수 4

한 줄 요약

이 논문은 방향성 있는 그래프에서 진/출도 분포를 유지하고 비방향성 그래프에서 갈등하는 최적화 목표를 제거하기 위해 희소 전치 근접도를 사용하는 확장 가능한 그래프 임베딩 방법인 STRAP을 제안한다. 뒤로 힘주기(backward push)를 활용해 희소 개인화 페이지랭크를 전치 근접도로 계산하고, 희소성 제약을 적용한 비선형 인수분해를 통해 STRAP는 링크 예측, 그래프 재구성, 노드 분류에서 최신 기술(SOTA) 수준의 성능을 달성하면서도 그래프 크기에 대해 선형 확장성을 유지한다.

ABSTRACT

Graph embedding learns low-dimensional representations for nodes in a graph and effectively preserves the graph structure. Recently, a significant amount of progress has been made toward this emerging research area. However, there are several fundamental problems that remain open. First, existing methods fail to preserve the out-degree distributions on directed graphs. Second, many existing methods employ random walk based proximities and thus suffer from conflicting optimization goals on undirected graphs. Finally, existing factorization methods are unable to achieve scalability and non-linearity simultaneously. This paper presents an in-depth study on graph embedding techniques on both directed and undirected graphs. We analyze the fundamental reasons that lead to the distortion of out-degree distributions and to the conflicting optimization goals. We propose {\em transpose proximity}, a unified approach that solves both problems. Based on the concept of transpose proximity, we design \strap, a factorization based graph embedding algorithm that achieves scalability and non-linearity simultaneously. \strap makes use of the {\em backward push} algorithm to efficiently compute the sparse {\em Personalized PageRank (PPR)} as its transpose proximities. By imposing the sparsity constraint, we are able to apply non-linear operations to the proximity matrix and perform efficient matrix factorization to derive the embedding vectors. Finally, we present an extensive experimental study that evaluates the effectiveness of various graph embedding algorithms, and we show that \strap outperforms the state-of-the-art methods in terms of effectiveness and scalability.

연구 동기 및 목표

• 기존 그래프 임베딩 방법이 방향성 있는 그래프에서 출도 분포를 유지하지 못하는 문제를 해결하기 위해.
• 비방향성 그래프에서 랜덤 워크 기반 방법에서 발생하는 갈등하는 최적화 목표를 해결하기 위해.
• 요인분해 기반 그래프 임베딩에서 확장성과 비선형성 모두를 달성하기 위해.
• 새로운 근접도 측정 기준을 통해 진/출도 보존과 갈등 없는 최적화를 통합하기 위해.

제안 방법

• 앞서와 뒤로 PPR을 조합하여 진/출도 정보를 모두 포괄하는 통합된 측정 기준인 전치 근접도를 도입하기 위해.
• 대규모 그래프를 위한 희소 개인화 페이지랭크(PPR)를 효율적으로 계산하기 위해 뒤로 힘주기 알고리즘을 사용하기 위해.
• 행렬 인수분해 이전에 효율적인 비선형 연산을 가능하게 하기 위해 근접도 행렬에 희소성 제약을 적용하기 위해.
• 비선형으로 변환된 근접도 행렬에 대해 저랭크 행렬 인수분해를 수행하여 노드 임베딩을 유도하기 위해.
• PPR의 희소성을 활용하여 간선 수에 대해 선형 시간 복잡도를 보장하기 위해.
• 전치 근접도를 통합하고 확장 가능한 계산 및 비선형 모델링을 통합한 요인분해 기반 알고리즘으로 STRAP를 설계하기 위해.

실험 결과

연구 질문

• RQ1 통합된 근접도 측정 기준이 방향성 있는 그래프에서 진/출도 분포를 모두 유지할 수 있는가?
• RQ2 전치 근접도가 비방향성 그래프에서 갈등하는 최적화 목표를 제거하는가?
• RQ3 요인분해 기반 방법이 대규모 그래프 임베딩에서 확장성과 비선형성을 동시에 달성할 수 있는가?
• RQ4 감쇠 인자 α와 오차 허용 오차 ε의 선택이 정밀도와 실행 시간 간의 트레이드오프에 어떻게 영향을 주는가?

주요 결과

• STRAP는 링크 예측과 그래프 재구성에서 최신 기술(SOTA) 방법을 능가하며, WikiVote에서 최대 27.97%의 정밀도를 달성한다.
• STRAP는 노드 구조적 역할 분류에서 최고 성능을 기록하여, 브라질에서 70.71%의 정확도와 유럽에서 90% 데이터 샘플링 시 65.50%의 정확도를 달성한다.
• 가장 큰 그래프(BC)에서 STRAP는 39초 내에 실행되어 DeepWalk(1200초)와 Node2Vec(280초)보다 훨씬 빠르며, 뛰어난 확장성을 입증한다.
• STRAP의 실행 시간은 간선 수에 대해 선형적으로 증가하여 이론적 효율성을 확인한다.
• α를 1에서 0으로 줄일수록 메서드가 인도적 성질에서 비인도적 성질로 전환되며, 조정 가능한 인도적 편향을 보여준다.
• ε를 줄일수록 재구성 정밀도는 향상되지만 실행 시간은 증가하므로 효과적인 트레이드오프 제어를 확인한다.