[논문 리뷰] Personalized PageRank Estimation and Search: A Bidirectional Approach

Peter Lofgren, Siddhartha Banerjee외 1명|arXiv (Cornell University)|2015. 07. 21.

Data Management and Algorithms참고 문헌 21인용 수 12

한 줄 요약

이 논문은 대규모 네트워크에서 PPR 점수 비례로 타겟을 샘플링함으로써 효율적인 개인화 검색을 가능하게 하는 이방향 개인화 페이지랭크(PPR) 추정 알고리즘을 제안한다. 이 방법은 기존 추정기 대비 3x–8x 빠른 성능을 달성하며, 모든 후보를 스캔하지 않고도 상위-k 결과를 찾는 데 있어 최초로 이를 실현한다. 사전 계산된 역방향 경로와 이방향 랜덤 워크를 활용하여 10억 엣지 그래프에서 선형 이하의 쿼리 시간을 확보한다.

ABSTRACT

We present new algorithms for Personalized PageRank estimation and Personalized PageRank search. First, for the problem of estimating Personalized PageRank (PPR) from a source distribution to a target node, we present a new bidirectional estimator with simple yet strong guarantees on correctness and performance, and 3x to 8x speedup over existing estimators in experiments on a diverse set of networks. Moreover, it has a clean algebraic structure which enables it to be used as a primitive for the Personalized PageRank Search problem: Given a network like Facebook, a query like "people named John", and a searching user, return the top nodes in the network ranked by PPR from the perspective of the searching user. Previous solutions either score all nodes or score candidate nodes one at a time, which is prohibitively slow for large candidate sets. We develop a new algorithm based on our bidirectional PPR estimator which identifies the most relevant results by sampling candidates based on their PPR; this is the first solution to PPR search that can find the best results without iterating through the set of all candidate results. Finally, by combining PPR sampling with sequential PPR estimation and Monte Carlo, we develop practical algorithms for PPR search, and we show via experiments that our algorithms are efficient on networks with billions of edges.

연구 동기 및 목표

• O(n²) 저장소로 인해 전체 PPR 벡터를 사전 계산하는 것이 불가능한 대규모 네트워크에서 개인화 검색의 과제를 해결한다.
• 모든 후보 타겟의 점수를 계산하기 위해 쿼리당 O(|T|) 시간이 소요되는 기존 방법의 비효율성을 극복한다.
• 모든 후보를 반복하지 않고도 상위-k 결과를 식별할 수 있는 확장 가능한 솔루션을 개발하여 인터랙티브 응답 시간을 가능하게 한다.
• 실제 사회망 서비스 및 사용자-아이템 그래프와 같은 실세계 네트워크에서 PPR 기반 검색의 실용적 구현을 가능하게 한다.
• 대규모 그래프에서 PPR 추정 및 검색 성능에 대한 이론적 보장과 실증적 검증을 제공한다.

제안 방법

• 전방 및 역방향 벡터의 내적을 통해 PPR 추정치를 계산하는 이방향 PPR 추정기를 제안함으로써 깔끔한 대수적 구조와 효율적 계산을 가능하게 한다.
• 타겟 노드로부터의 역방향 랜덤 워크를 사용해 사전에 역방향 도달 가능성을 계산함으로써, 어떤 소스에서라도 PPR을 신속하게 추정할 수 있도록 한다.
• PPR 점수 비례로 후보 타겟을 샘플링하기 위한 이단계 접근법을 사용한다: 첫 번째로 소스에서 전방 워크를 시뮬레이션하여 타겟에 가까워지도록 하며, 두 번째로 사전 계산된 역방향 데이터를 활용해 타겟을 효율적으로 샘플링한다.
• 두 가지 변형을 도입한다: BiPPR-Precomp-Grouped와 BiPPR-Precomp-Sampling으로, 효율성을 높이기 위해 사전 계산된 역방향 경로를 그룹화한다.
• 이방향 PPR 추정과 몬테카를로 샘플링, 순차적 추정을 조합하여 실용적인 PPR 검색 알고리즘을 구축한다.
• 높은 PPR 점수를 가진 노드일수록 랜덤 워크에 더 자주 도달하므로, 전체 열거 없이도 효율적인 샘플링을 통해 상위 결과를 식별할 수 있음을 활용한다.

실험 결과

연구 질문

• RQ1 이방향 접근법을 통한 PPR 추정이 기존 방법 대비 이론적 보장과 실용적 성능 향상을 동시에 달성할 수 있는가?
• RQ2 PPR 기반 개인화 검색이 후보 타겟 수에 대해 선형 이하의 시간 내에 수행될 수 있는가?
• RQ3 PPR 점수에 기반한 샘플링 전략이 모든 후보를 평가하지 않고도 상위-k 결과를 식별할 수 있는가?
• RQ4 다양한 실세계 네트워크(10억 엣지)에서 이방향 PPR 추정의 성능 스케일링은 어떻게 이루어지는가?
• RQ5 사전 계산된 역방향 도달 가능성 데이터가 인터랙티브 애플리케이션에서 효율적이고 저지연 개인화 검색을 가능하게 하는가?

주요 결과

• 이방향 PPR 추정기는 웹 및 소셜 그래프를 포함한 다양한 네트워크에서 기존 추정기인 FAST-PPR 대비 3x–8x 빠른 성능을 달성한다.
• Pokec 그래프(3000만 엣지)에서 BiPPR-Precomp-Grouped 및 BiPPR-Precomp-Sampling은 모든 테스트 타겟 집합 크기(|T| = 10에서 10,000까지)에서 250ms 이내의 쿼리 시간을 확보한다.
• Pokec 그래프에서 이방향 접근은 큰 |T|에선 몬테카를로보다 뛰어나지만, 작은 |T|에선 몬테카를로가 더 느리므로, 성능 트레이드오���이 상호 보완적임을 보여준다.
• Pokec에서 사전 계산된 역방향 데이터 저장소는 |T|=10일 때 800KB에서 |T|=10,000일 때 3MB까지 범위를 가지며, 더 큰 Twitter 그래프에선 3MB에서 30MB까지 확장되어 낮은 공간 오버헤드를 보인다.
• 알고리즘은 10억 엣지 그래프로 확장 가능하며, 최대 160만 노드와 3000만 엣지까지의 네트워크에서 효율성을 검증했다.
• 이 방법은 모든 후보를 스캔하지 않고도 상위-k 결과를 도출할 수 있는 최초의 실용적 PPR 검색 알고리즘을 가능하게 하며, PPR 점수 기반 샘플링을 통해 선형 이하의 쿼리 시간을 달성한다.