[논문 리뷰] Asynchronous iterative computations with Web information retrieval structures: The PageRank case

Giorgios Kollias, Efstratios Gallopoulos외 1명|ArXiv.org|2006. 06. 11.

Distributed and Parallel Computing Systems참고 문헌 20인용 수 35

한 줄 요약

이 논문은 대규모 웹 그래프에서 PageRank를 계산하기 위한 이방식 반복 방법을 제안하며, 동기화 병목 현상을 피하기 위해 분산 계산을 활용한다. 동기식 메시지 전달 대신 이방식 업데이트를 도입함으로써 메시지 수가 증가함에도 불구하고 성능을 10–20% 정도 향상시켰으며, 이는 그리드와 같은 이종 플랫폼에서 대규모 정보 검색에 실현 가능함을 보여준다.

ABSTRACT

There are several ideas being used today for Web information retrieval, and specifically in Web search engines. The PageRank algorithm is one of those that introduce a content-neutral ranking function over Web pages. This ranking is applied to the set of pages returned by the Google search engine in response to posting a search query. PageRank is based in part on two simple common sense concepts: (i)A page is important if many important pages include links to it. (ii)A page containing many links has reduced impact on the importance of the pages it links to. In this paper we focus on asynchronous iterative schemes to compute PageRank over large sets of Web pages. The elimination of the synchronizing phases is expected to be advantageous on heterogeneous platforms. The motivation for a possible move to such large scale distributed platforms lies in the size of matrices representing Web structure. In orders of magnitude: $10^{10}$ pages with $10^{11}$ nonzero elements and $10^{12}$ bytes just to store a small percentage of the Web (the already crawled); distributed memory machines are necessary for such computations. The present research is part of our general objective, to explore the potential of asynchronous computational models as an underlying framework for very large scale computations over the Grid. The area of ``internet algorithmics'' appears to offer many occasions for computations of unprecedent dimensionality that would be good candidates for this framework.

연구 동기 및 목표

• 대규모 웹 그래프에서 PageRank를 계산할 때 발생하는 동기식 반복 방법의 확장성 한계를 해결하기 위해.
• 특히 그리드와 같은 환경에서 대규모 분산 시스템에 대한 이방식 계산 모델의 실현 가능성 탐색을 위해.
• 전역 장벽과 잠금을 제거함으로써 반복적 PageRank 계산에서의 동기화 오버헤드를 줄이기 위해.
• 절대 잔차 기준이 아닌 상대적 PageRank 값에 중점을 두어, 느슨한 수렴 기준이 순위 품질에 미치는 영향을 평가하기 위해.
• 모든 대 모든 메시지 전달 패턴에서 네트워크 포화를 완화하는 적응형 통신 전략을 조사하기 위해.

제안 방법

• 웹 링크 구조에서 유도된 확률 전이 행렬 S를 사용하는 표준 PageRank 공식화를 사용한다. G = αS + (1−α)ve^T로 표현되며, 여기서 G는 구글 행렬이다.
• l1-노름을 유지함으로써 단계별 정규화 없이도 비동기 반복을 통해 힘의 방법을 적용한다: x(t+1) = Gx(t).
• 비차단 전송/수신 연산을 사용하여 분산 환경에서 메시지 전달을 구현함으로써, 계산이 통신 완료 여부와 독립적으로 진행되도록 한다.
• 통신 지연이 발생할 경우 네트워크 버퍼 오버플로를 방지하기 위해 동적 메시지 취소 메커니즘을 도입한다.
• 절대 잔차 기준이 아닌 상대적 순위 안정성에 기반한 느슨한 수렴 기준을 채택한다.
• 통신 오버헤드를 줄이기 위해 모든 대 모든 방식의 대안으로 트리 기반 통신 토폴로지를 사용한다.

실험 결과

연구 질문

• RQ1 메시지 수가 더 많음에도 불구하고, 이방식 반복 방법이 동기식 방법보다 PageRank 계산에서 뛰어난 성능을 내는가?
• RQ2 전역 동기화가 없는 상황에서 대규모 PageRank 계산의 수렴성과 순위 정확도에 어떤 영향을 미치는가?
• RQ3 строго한 잔차 기준이 없을 경우, 느슨한 수렴 기준이 상대적 순위 유지에 얼마나 기여하는가?
• RQ4 통신 패턴과 네트워크 대역폭 제약 조건이 분산 PageRank 계산에서 이방식 반복 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ5 적응형 통신 전략은 네트워크 포화를 줄이고 이종 분산 환경에서의 확장성을 향상시킬 수 있는가?

주요 결과

• 이방식 계산은 동기식 방법 대비 약 10–20%의 속도 향상을 달성하며, 주로 동기화 오버헤드 제거 덕분이다.
• 이방식 방법은 동기식 대비 더 높은 메시지 생산률을 보이며, 네트워크 부하가 증가하지만 로컬 반복 진행 속도는 빨라진다.
• 메시지 수가 증가함에도 불구하고 알고리즘은 안정적으로 유지되며, 수용 가능한 상대적 순위 품질을 갖는 해에 수렴한다.
• 이방식의 경우 노드별 메시지 수입 완료율은 28%에서 45% 사이로, 통신 사이클이 완전하지 않음을 시사하지만 여전히 수렴에 충분하다.
• 현재의 모든 대 모든 통신 패턴은 소규모 클러스터에서도 네트워크 대역폭을 포화시키며, 토폴로지 인식형 또는 적응형 통신 체계의 필요성을 강조한다.
• 저자들은 통신을 최소화하거나 적응형으로 만드는 조건에서만 이방식 방법이 대규모 반복 계산에 실현 가능하며, 특히 그리드와 같은 이종 환경에서는 더욱 그러하다고 결론을 내린다.