[논문 리뷰] A continuum limit for the PageRank algorithm

Amber Yuan, Jeff Calder외 1명|arXiv (Cornell University)|2020. 01. 24.

Model Reduction and Neural Networks참고 문헌 58인용 수 5

한 줄 요약

이 논문은 방향성 그래프 위에서 PageRank 알고리즘의 연속체 근사 프레임워크를 제안하며, 이가 반응, 확산, 유동 항을 포함하는 두 번째 차수의 가능성이 있는 비가역 타원형 편미분방정식(PDE)으로 수렴함을 보여준다. 저자들은 이산 스킴이 연속 해에 대해 일致성, 안정성 및 명시적인 수렴 속도를 갖는다는 것을 증명하여, PageRank의 정칙성과 안정성에 대한 엄밀한 분석을 가능하게 한다.

ABSTRACT

Semi-supervised and unsupervised machine learning methods often rely on graphs to model data, prompting research on how theoretical properties of operators on graphs are leveraged in learning problems. While most of the existing literature focuses on undirected graphs, directed graphs are very important in practice, giving models for physical, biological, or transportation networks, among many other applications. In this paper, we propose a new framework for rigorously studying continuum limits of learning algorithms on directed graphs. We use the new framework to study the PageRank algorithm, and show how it can be interpreted as a numerical scheme on a directed graph involving a type of normalized graph Laplacian. We show that the corresponding continuum limit problem, which is taken as the number of webpages grows to infinity, is a second-order, possibly degenerate, elliptic equation that contains reaction, diffusion, and advection terms. We prove that the numerical scheme is consistent and stable and compute explicit rates of convergence of the discrete solution to the solution of the continuum limit PDE. We give applications to proving stability and asymptotic regularity of the PageRank vector. Finally, we illustrate our results with numerical experiments and explore an application to data depth.

연구 동기 및 목표

• 방향성 그래프 위에서 학습 알고리즘의 연속체 근사를 연구하기 위한 엄밀한 수학적 프레임워크를 개발하기 위해.
• 방향성 그래프에서 정규화된 그래프 라플라시안을 포함하는 수치적 스킴으로서 PageRank 알고리즘을 분석하기 위해.
• PageRank의 연속체 근사로 나타나는 두 번째 차수의 타원형 PDE를 유도하기 위해.
• 이산 PageRank 해가 연속 PDE 해로 수렴하는 데 대해 일치성, 안정성 및 수렴 속도를 증명하기 위해.
• 결과를 적용하여 대규모 네트워크에서 PageRank 벡터의 점근적 정칙성과 안정성을 확립하기 위해.

제안 방법

• 정규화된 그래프 라플라시안을 사용하여 방향성 기하 랜덤 그래프 위에서 PageRank 알고리즘을 이산 수치 스킴으로 공식화하기 위해.
• 적절한 스케일링 가정 하에 노드 수를 무한히 늘일 때 연속체 근사를 도출하기 위해.
• 한계 PDE가 반응, 확산, 유동 항을 포함하는 두 번째 차수의 가능성이 있는 비가역 타원형 방정식임을 식별하기 위해.
• 점성 해 이론을 사용하여 PDE를 분석함으로써 극한의 잘 정의됨과 안정성을 보장하기 위해.
• 엄밀한 오차 분석을 통해 이산 스킴의 일치성과 안정성을 확립하기 위해.
• 이산 PageRank 해가 연속 PDE 해로 수렴하는 데 대해 명시적인 수렴 속도를 계산하기 위해.

실험 결과

연구 질문

• RQ1 웹페이지 수가 무한히 증가할 때 PageRank 알고리즘이 어떻게 행동하며, 연속체 근사에서 어떤 PDE로 수렴하는가?
• RQ2 한계 PDE의 구조적 및 분석적 성질은 무엇이며, 이는 기저가 되는 방향성 그래프의 구조를 어떻게 반영하는가?
• RQ3 이산 PageRank 스킴이 연속체 근사에서 일치성과 안정성을 갖는다고 증명할 수 있으며, 어떤 수렴 속도를 확립할 수 있는가?
• RQ4 연속체 근사 프레임워크는 PageRank 벡터의 정칙성과 안정성을 분석하는 데 어떻게 활용될 수 있는가?
• RQ5 연속체 근사는 대규모 네트워크에서 PageRank의 행동을 이해하는 데 어떤 함의를 갖는가?

주요 결과

• PageRank 알고리즘의 연속체 근사는 반응, 확산, 유동 항을 포함하는 두 번째 차수의 가능성이 있는 비가역 타원형 PDE이다.
• 이산 PageRank 스킴이 연속 PDE 해로 수렴하는 데 대해 일치성과 안정성이 명시적으로 증명되었으며, 수렴 속도가 명시되어 있다.
• 한계 PDE는 적절한 정규화를 갖는 방향성 기하 랜덤 그래프 위에서 정규화된 그래프 라플라시안의 척도 근사로 도출된다.
• 이 프레임워크를 통해 대규모 네트워크 근사에서 PageRank 벡터의 점근적 정칙성과 안정성을 증명할 수 있다.
• 수치 실험은 이론적 수렴 속도를 확인하며, 데이터 깊이와 네트워크 분석에의 응용을 시각화한다.
• 결과는 B(x)가 더 일반적인 행렬일 경우에도 적용 가능하지만, B가 일정하지 않을 경우 분석이 상당히 복잡해진다.