[논문 리뷰] InstantEmbedding: Efficient Local Node Representations

Ştefan Postăvaru, Anton Tsitsulin외 4명|arXiv (Cornell University)|2020. 10. 14.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

InstantEmbedding는 지역적 Personalized PageRank(PPR) 계산을 사용하여 선형 시간 이하의 시간에 전역적으로 일관되고 고품질의 노드 임베딩을 생성하는 새로운 방법이다. DeepWalk 및 node2vec과 같은 최신 기술 대비 최대 9,000배 빠른 추론 속도와 8,000배 낮은 메모리 사용량을 달성하면서도 노드 분류 및 링크 예측 작업에서 최신 기술 수준의 성능을 유지하거나 초월한다.

ABSTRACT

In this paper, we introduce InstantEmbedding, an efficient method for generating single-node representations using local PageRank computations. We theoretically prove that our approach produces globally consistent representations in sublinear time. We demonstrate this empirically by conducting extensive experiments on real-world datasets with over a billion edges. Our experiments confirm that InstantEmbedding requires drastically less computation time (over 9,000 times faster) and less memory (by over 8,000 times) to produce a single node's embedding than traditional methods including DeepWalk, node2vec, VERSE, and FastRP. We also show that our method produces high quality representations, demonstrating results that meet or exceed the state of the art for unsupervised representation learning on tasks like node classification and link prediction.

연구 동기 및 목표

• 대규모이자 희소하게 레이블이 부여된 그래프에서 전체 그래프 임베딩 방법의 비효율성을 해결하기 위해.
• 로컬 구조적 정보만을 사용하여 실시간으로 표현을 계산하는 지역 기반 노드 임베딩 방법을 개발하기 위해.
• 생성된 임베딩가 후속 작업을 위한 기존 그래프 임베딩 표준과 전역적으로 일관되도록 보장하기 위해.
• 고품질의 표현을 유지하면서도 계산 및 메모리 오버헤드를 극도로 줄이기 위해.
• 임베딩 과정의 국소성과 전역 일관성에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 노드 표현의 기초로 지역적 Personalized PageRank(PPR) 벡터를 사용한다.
• 고차원 PPR 유사도를 저차원 임베딩으로 압축하기 위해 국소성 민감한 해싱(LSH)을 적용한다.
• PPR 행렬 분해와 임베딩 일관성 사이의 이론적 프레임워크를 활용한다.
• ϵ를 통해 무작위 보행의 깊이를 제한함으로써 O(1/α(1−α)ϵ + d)의 선형 시간 이하로 임베딩을 계산한다.
• 제한된 이웃 범위 내에서 PPR 값을 집계하기 위해 최대값 연산자를 사용하여 국소성을 보장한다.
• 기본적인 PPR 행렬 구조와 로컬 임베딩을 정렬함으로써 전역 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 지역적 PPR 기반 임베딩가 전체 그래프 임베딩 방법과 전역적으로 일관성을 달성할 수 있는가?
• RQ2 지역 임베딩 방법이 시간과 메모리 사용량을 극적으로 줄임과 동시에 노드 분류 및 링크 예측에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 정밀도 임계값 ϵ의 선택이 정확도와 계산 비용 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 지역적 PPR 기반 임베딩 생성의 이론적 시간 및 메모리 복잡도는 무엇인가?
• RQ5 다양한 그래프 유형에 걸쳐 가장 강력한 성능을 보이는 임베딩 집계 전략(예: 하다마드, L2 거리)은 무엇인가?

주요 결과

• 10억 개 엣지를 가진 그래프에서 InstantEmbedding는 DeepWalk, node2vec, VERSE, FastRP 대비 최대 9,000배 빠른 추론 속도와 8,000배 낮은 메모리 사용량을 기록했다.
• BlogCatalog 데이터셋에서 d=2048일 때 InstantEmbedding는 링크 예측에서 ROC-AUC 93.84%를 달성하여 node2vec(93.72%)와 FastRP(90.99%)를 능가했다.
• CoAuthor에서 d=2048일 때 InstantEmbedding는 ROC-AUC 90.84%를 기록하여 같은 조건에서 VERSE(92.75%)와 FastRP(82.19%)를 초월했다.
• PPI 및 Flickr 데이터셋에서의 마이크로-F1 점수 분석 결과, ϵ을 줄일수록 정확도가 향상되어 ϵ=10−6까지 개선되었으나, 가장 낮은 ε에서는 정보 잘림으로 인해 성능이 약간 떨어졌다.
• UMAP 시각화 결과, InstantEmbedding가 CoCit의 연구 분야와 같은 의미 있는 군집 구조를 유지함을 확인했으며, VERSE 및 DeepWalk과 같은 최신 기술과 유사한 성능을 보였다.
• 이 방법은 다양한 데이터셋에서 뛰어난 성능을 보였다: 링크 예측 및 노드 분류 작업 모두에서 여섯 가지 벤치마크 데이터셋(PPI, BlogCatalog, CoCit, Flickr, YouTube, CoAuthor)에서 최상위 또는 최상위에 가까운 성능을 기록했다.