[논문 리뷰] Optimized on-line computation of PageRank algorithm

Dohy Hong|arXiv (Cornell University)|2012. 02. 28.

Complex Network Analysis Techniques참고 문헌 21인용 수 16

한 줄 요약

이 논문은 유체 확산 기반 알고리즘을 제안하여 행렬-벡터 갱신 순서를 유체 흐름이 높은 노드를 우선순위로 정함으로써 PageRank 계산을 가속화한다. 기존의 힘의 반복법 및 OPIC와 같은 전통적 방법보다 뚜렷한 성능 향상을 이룬다. 이 방법은 비동기 분산 계산을 가능하게 하며, 실제 웹 그래프에서 수렴 시간을 최대 50%까지 감소시킨다. 특히 높은 수의 끝점 노드가 존재하는 상황에서 유의미한 성능 향상을 보인다.

ABSTRACT

In this paper we present new ideas to accelerate the computation of the eigenvector of the transition matrix associated to the PageRank algorithm. New ideas are based on the decomposition of the matrix-vector product that can be seen as a fluid diffusion model, associated to new algebraic equations. We show through experiments on synthetic data and on real data-sets how much this approach can improve the computation efficiency.

연구 동기 및 목표

• 대규모 웹 그래프에서 PageRank 고유벡터를 계산하는 데 드는 높은 계산 비용을 해결하기 위해.
• 표준적인 힘의 반복법 및 OPIC 방법을 초월하여 반복적 PageRank 알고리즘의 수렴 속도를 향상시키기 위해.
• 갱신 순서에 의존하지 않으며, 자연스럽게 비동기 분산 계산을 지원하는 방법을 설계하기 위해.
• 행렬 완성 및 벡터 재정규화에 대한 의존도를 줄여 계산 오버헤드를 감소시키기 위해.
• 합성 및 실세계 데이터셋(다양한 링크 밀도와 끝점 노드 비율을 가진 웹 그래프 포함)에서 방법의 효율성을 검증하기 위해.

제안 방법

• 이 방법은 PageRank 계산을 유체 확산 과정으로 모델링하며, 유체 질량이 높은 노드에서 유체가 그들의 출력 링크로 전파된다.
• 누적 기여도를 추적하기 위해 유체 벡터 $ F_n $ 와 이력 벡터 $ H_n $ 를 사용하며, 갱신은 $ F_n = (I - J_{i_n} + dP J_{i_n}) F_{n-1} $ 를 기반으로 한다. 여기서 $ i_n $ 은 갱신을 위한 선택된 노드이다.
• 유체 질량을 기반으로 노드를 갱신 대상으로 선정하며, argmax ($ \text{ALGO-MAX} $), 무작위 선택 ($ \text{ALGO-RAND} $), 또는 유체 질량과 링크 차수를 조합한 히우리스틱 ($ \text{ALGO-OP} $) 등의 전략을 사용한다.
• 유체 갱신 메커니즘은 각 갱신이 최신 부분 결과를 사용하도록 보장하며, 갱신 순서에 의존하지 않는 확산 방식의 순서를 취함으로써 가우스-세이델과 유사한 성질을 가지지만, 순서에 민감하지 않다.
• 유체 질량이 높은 노드를 우선순위로 정함으로써 갱신 순서에 의존하지 않으며, 전이 행렬 $ P $ 의 0-열 상태를 직접 처리함으로써 끝점 노드에 대한 행렬 완성 작업을 피함으로써 사전처리 비용을 감소시킨다.
• 갱신 순서가 수렴성이나 정확도에 영향을 주지 않기 때문에, 이 알고리즘은 비동기 분산 시스템에 자연스럽게 구현될 수 있다.

실험 결과

연구 질문

• RQ1 유체 확산 모델을 활용한 행렬-벡터 곱셈이 기존의 표준 힘의 반복법보다 PageRank 계산에서 더 우수한 성능을 내는가?
• RQ2 유체 질량에 기반한 순서에 의존하지 않는 비동기 갱신 전략이 기존의 온라인 방법보다 더 빠른 수렴을 이끌 수 있는가?
• RQ3 유체 질량이 높은 끝점 노드 비율이 높은 그래프에서 기존 방법이 비효율적인 상황에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ4 유체 질량과 링크 차수를 모두 고려한 히우리스틱 노드 선택 전략인 $ \text{ALGO-OP} $ 이 수렴 속도를 추가로 향상시킬 수 있는가?
• RQ5 유체 질량 기반의 노드 우선순위 정책이 무작위 또는 균일한 갱신 순서에 비해 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 고비율의 끝점 노드를 가진 합성 데이터셋(S1, S2, S3 등)에서 제안된 방법은 OPIC 및 힘의 반복법 대비 최대 50% 감소된 기본 단계를 기록하였다.
• gr0.California 웹 그래프(9,664개 노드, 16,150개 링크)에서 ALGO-OP는 $ 1/\sqrt{n} $ 수렴 변동성을 제거하여 OPIC보다 더 빠르고 안정적인 수렴을 보였다.
• 더 큰 uk-2007-05@1000000 데이터셋(100만 노드, 4100만 링크)에서 ALGO-MAX는 ALGO-OP를 초월하였으며, 이는 최적의 노드 선택 전략이 그래프의 구조와 밀도에 따라 달라질 수 있음을 시사한다.
• 행렬 완성 및 벡터 재정규화를 요구하지 않아도 되어 사전처리 및 반복 계산 비용을 감소시키며, 뚜렷한 성능 향상을 달성하였다.
• 유체 확산 모델은 갱신 순서가 수렴성이나 정확도에 영향을 주지 않기 때문에 비동기 분산 시스템에 자연스럽게 구현될 수 있다.
• argmax를 임계값 기반의 배치 갱신 전략으로 대체함으로써 유사한 성능 향상을 유지하면서도 노드 선택의 계산 비용을 감소시켰다.