[논문 리뷰] Fast Incremental and Personalized PageRank

Bahman Bahmani, Abdur Chowdhury외 1명|arXiv (Cornell University)|2010. 06. 15.

Complex Network Analysis Techniques참고 문헌 4인용 수 27

한 줄 요약

이 논문은 분산 공유 메모리 환경을 활용하여 대규모이고 동적으로 변화하는 소셜 네트워크에서 글로벌 및 개인화된 PageRank를 계산하기 위한 빠르고 점진적인 몬테카를로 방법을 제안한다. 무작위 보행 세그먼트를 저장하고 개인화된 PageRank의 멱법칙 성질을 활용함으로써, 글로벌 PageRank의 총 작업량은 O(n ln m / ǫ²)이며, 상위-k 개인화된 결과를 위한 예상 데이터베이스 검색 횟수는 O(k / (R(1−α)/α))로, 배치 재계산 및 이전의 점진적 접근 방식보다 크게 뛰어나다.

ABSTRACT

In this paper, we analyze the efficiency of Monte Carlo methods for incremental computation of PageRank, personalized PageRank, and similar random walk based methods (with focus on SALSA), on large-scale dynamically evolving social networks. We assume that the graph of friendships is stored in distributed shared memory, as is the case for large social networks such as Twitter. For global PageRank, we assume that the social network has $n$ nodes, and $m$ adversarially chosen edges arrive in a random order. We show that with a reset probability of $ε$, the total work needed to maintain an accurate estimate (using the Monte Carlo method) of the PageRank of every node at all times is $O(\frac{n\ln m}{ε^{2}})$. This is significantly better than all known bounds for incremental PageRank. For instance, if we naively recompute the PageRanks as each edge arrives, the simple power iteration method needs $Ω(\frac{m^2}{\ln(1/(1-ε))})$ total time and the Monte Carlo method needs $O(mn/ε)$ total time; both are prohibitively expensive. Furthermore, we also show that we can handle deletions equally efficiently. We then study the computation of the top $k$ personalized PageRanks starting from a seed node, assuming that personalized PageRanks follow a power-law with exponent $α< 1$. We show that if we store $R>q\ln n$ random walks starting from every node for large enough constant $q$ (using the approach outlined for global PageRank), then the expected number of calls made to the distributed social network database is $O(k/(R^{(1-α)/α}))$. We also present experimental results from the social networking site, Twitter, verifying our assumptions and analyses. The overall result is that this algorithm is fast enough for real-time queries over a dynamic social network.

연구 동기 및 목표

• 간선이 점진적으로 도착하는 동적 소셜 네트워크에서 PageRank에 대한 배치 재계산의 비효율성을 해결하기 위해.
• 지속적인 그래프 업데이트 상황에서도 정확한 글로벌 및 개인화된 PageRank 추정치를 유지하기 위한 확장성 있고 실시간인 알고리즘을 설계하기 위해.
• 개인화된 PageRank 벡터의 멱법칙적 구조를 활용하여 랜덤 보행 조립 과정에서 비용이 많이 드는 데이터베이스 검색을 최소화하기 위해.
• 실세계 트위터 데이터를 활용한 실험을 통해 이론적 경계를 검증하여, 이 방법이 생산 시스템에 실용적임을 확인하기 위해.

제안 방법

• 각 노드당 R개의 무작위 보행 세그먼트를 저장하여 PageRank 및 개인화된 PageRank에 대한 빠른 점진적 업데이트를 가능하게 하는 몬테카를로 샘플링을 사용한다.
• 보행 시뮬레이션 중 그래프 간선에 대한 저지연 무작위 액세스를 지원하기 위해 분산 공유 메모리 모델(Social Store)을 활용한다.
• 개인화된 PageRank 벡터에 멱법칙 가정(지수 α < 1)을 적용하여 보행 조립 과정 중 예상되는 데이터베이스 검색 횟수를 제한한다.
• 정적 확률적 보행자 행동을 시뮬레이션하고 정적 분포를 추정하기 위해 평균 1/ǫ인 기하분포를 가진 보행 길이를 사용한다.
• 집중 불등식과 멱법칙 분석을 활용하여 글로벌 PageRank의 총 작업량과 상위-k 개인화된 결과의 예상 검색 횟수에 대한 이론적 경계를 유도한다.
• 세그먼트 기반의 보행 조립 기법을 활용: 보행이 필요할 경우 사전에 저장된 세그먼트를 가져와 전체 보행을 이어붙인다.

실험 결과

연구 질문

• RQ1 대규모이고 동적인 소셜 네트워크에서 점진적인 PageRank 계산을 위한 몬테카를로 방법을 어떻게 효율적으로 만들 수 있는가?
• RQ2 무작위 순서로 공격적인 간선 도착 상황에서 정확한 글로벌 PageRank 추정치를 유지하기 위해 필요한 이론적 총 작업량은 무엇인가?
• RQ3 최소한의 데이터베이스 액세스로 상위-k 추천을 위한 개인화된 PageRank를 어떻게 효율적으로 계산할 수 있는가?
• RQ4 실제 소셜 네트워크에서 개인화된 PageRank 벡터가 멱법칙 분포를 얼마나 잘 따르는가?
• RQ5 짧은 무작위 보행이 실용적인 추천 시스템에서 정적 분포를 충분히 잘 근사할 수 있는가?

주요 결과

• 리셋 확률 ǫ을 가진 글로벌 PageRank를 유지하기 위한 총 작업량은 O(n ln m / ǫ²)이며, 이는 파워 이터레이션의 Ω(m² / ln(1/(1−ǫ))) 및 단순 몬테카를로 재계산의 O(mn / ǫ)보다 크게 우수하다.
• 메서드는 간선 삭제 상황에서도 삽입과 동일한 효율성을 유지하며, 동일한 이론적 경계를 유지한다.
• 멱법칙 지수 α < 1인 상위-k 개인화된 PageRank의 경우, 예상 데이터베이스 검색 횟수는 O(k / (R(1−α)/α))이며, 여기서 R은 노드당 저장된 보행 세그먼트 수이다.
• 트위터 데이터에 대한 실험 결과, 개인화된 PageRank 벡터가 평균 지수 0.77, 표준편차 0.08로 멱법칙을 따르며, 이는 모델 가정의 타당성을 검증한다.
• 5,000단계의 짧은 무작위 보행은 진짜 상위 100 결과의 80%를 상위 100개 추천 결과 내에서 복구하며, 정밀도-재현율 0.8에서 정밀도가 거의 0.8에 도달한다.
• 검색 횟수에 대한 이론적 경계가 실험 결과와 밀도 있게 일치하며, R > q ln n이면 이론적 임계값 도달 이전에도 견고한 성능을 확보할 수 있음을 확인한다.