[논문 리뷰] FrogWild! -- Fast PageRank Approximations on Graph Engines

Ioannis Mitliagkas, Michael Borokhovich외 2명|arXiv (Cornell University)|2015. 02. 15.

Graph Theory and Algorithms참고 문헌 3인용 수 10

한 줄 요약

FrogWild!은 GraphLab에서 부분적 동기화를 사용하는 병렬 랜덤 워크를 도입하여 네트워크 트래픽을 표준 PageRank 대비 최대 1,000배 감소시키는 빠르고 통신 효율적인 PageRank 근사 알고리즘을 제안한다. 대규모 그래프인 Twitter에서 반복당 1초 이내로 높은 정확도의 top-k PageRank 결과를 도출하며, 전체 PageRank 계산과 감소된 반복 수를 가진 휴리스틱 방법보다도 빠르고 확장성 면에서 뛰어나다.

ABSTRACT

We propose FrogWild, a novel algorithm for fast approximation of high PageRank vertices, geared towards reducing network costs of running traditional PageRank algorithms. Our algorithm can be seen as a quantized version of power iteration that performs multiple parallel random walks over a directed graph. One important innovation is that we introduce a modification to the GraphLab framework that only partially synchronizes mirror vertices. This partial synchronization vastly reduces the network traffic generated by traditional PageRank algorithms, thus greatly reducing the per-iteration cost of PageRank. On the other hand, this partial synchronization also creates dependencies between the random walks used to estimate PageRank. Our main theoretical innovation is the analysis of the correlations introduced by this partial synchronization process and a bound establishing that our approximation is close to the true PageRank vector. We implement our algorithm in GraphLab and compare it against the default PageRank implementation. We show that our algorithm is very fast, performing each iteration in less than one second on the Twitter graph and can be up to 7x faster compared to the standard GraphLab PageRank implementation.

연구 동기 및 목표

• GraphLab과 같은 분산 그래프 엔진에서 기존 PageRank의 높은 통신 및 계산 비용을 해결하기 위해.
• 전체 PageRank 벡터를 계산하지 않고도 상위 k개의 PageRank 정점에 대한 빠르고 확장 가능한 근사 계산을 가능하게 하기 위해.
• GraphLab의 일괄 동기 병렬(Bulk Synchronous Parallel, BSP) 모델에서 동기화 메커니즘을 수정하여 반복적 그래프 알고리즘에서의 네트워크 트래픽을 줄이기 위해.
• 감소된 동기화와 통신에도 불구하고 상위 k개 PageRank 추정의 높은 정확도를 유지하기 위해.
• 소셜 네트워크 영향력 탐지 및 키워드 추출과 같은 실시간 응용 프로그램을 위한 실용적이고 효율적인 대안을 제공하기 위해.

제안 방법

• FrogWild!은 표준 파wer 반복 대신 방향성 있는 그래프에서 병렬 랜덤 워크를 수행하여 PageRank 점수를 근사한다.
• GraphLab에 새로운 부분적 동기화 메커니즘을 도입하여 미러 정점의 일부만 동기화함으로써 네트워크 트래픽을 극적으로 감소시킨다.
• 그래프 크기를 줄이되 핵심 연결성을 유지하기 위해 확률 $ q = 1 - r $ 로 엣지를 유지하는 스퍼지피케이션 단계를 사용한다.
• 각 정점이 들어오는 랜덤 워크 수를 세는 양자화 업데이트 규칙을 적용하여 워크 빈도로 PageRank 점수를 근사한다.
• 정확도-속도 트레이드오프를 조정하기 위해 초기 랜덤 워크 수 $ N $ 와 반복 횟수를 동적으로 조절한다.
• 이론적 분석을 통해 부분적 동기화로 인해 유도되는 상관관계를 제한하고, 근사값이 진정된 PageRank 벡터에 가까운 것을 증명한다.

실험 결과

연구 질문

• RQ1 GraphLab에서 부분적 동기화가 PageRank와 같은 반복적 그래프 알고리즘의 네트워크 트래픽을 크게 줄일 수 있는가?
• RQ2 부분적 동기화로 인해 유도되는 랜덤 워크 간의 상관관계가 PageRank 근사 정확도에 미치는 영향은 무엇인가?
• RQ3 최적화된 파rameter를 가진 랜덤 워크 기반 접근 방식이 상위 k개 PageRank 추정에서 표준 PageRank보다 속도와 통신 비용 면에서 뛰어나게 성능을 높일 수 있는가?
• RQ4 그래프 크기와 원하는 정확도에 따라 필요한 랜덤 워크 수의 스케일링 행동은 어떠한가?
• RQ5 그래프 스퍼지피케이션 후 표준 PageRank를 적용하는 전략과 비교했을 때 FrogWild!은 어떤가?

주요 결과

• FrogWild!은 Twitter 그래프에서 표준 GraphLab PageRank 대비 네트워크 트래픽을 최대 1,000배 감소시켰다.
• Twitter 그래프에서 FrogWild!의 각 반복은 1초 이내로 실행되며, 기본 GraphLab PageRank 대비 최대 7배 빠른 성능을 기록했다.
• 800,000개의 초기 랜덤 워크와 4회의 반복을 사용할 경우, FrogWild!는 전체 PageRank와 유사한 Mass Captured 점수를 확보하면서도 훨씬 적은 시간과 네트워크 대역폭을 사용했다.
• Twitter 및 LiveJournal 그래프 모두에서 800,000개의 초기 랜덤 워크와 4회의 반복이 최적의 정확도와 성능을 제공하여 안정적인 스케일링 행동을 보였다.
• FrogWild!는 기준 스퍼지피케이션 + PageRank 전략보다 실행 시간과 네트워크 효율성 면에서 뛰어나면서도 유사한 정확도를 유지했다.
• 이론적 분석을 통해 부분적 동기화로 인한 상관관계에도 불구하고 근사 오차가 유한하게 유지됨을 확인하여 실용적 성능 향상의 타당성을 뒷받침했다.