[논문 리뷰] Learning Supervised PageRank with Gradient-Free Optimization Methods

Lev Bogolubsky, Pavel Dvurechensky외 6명|arXiv (Cornell University)|2014. 11. 16.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 6

한 줄 요약

이 논문은 두 수준의 그래디언트 없는 최적화 방법을 제안하여 감독형 PageRank 모델을 학습한다. 마르코프 무작위 보행의 정적 분포는 선형 수렴 성질을 갖는 방법으로 근사되며, 정확한 도함수 계산 없이도 매개변수를 최적화한다. 이 방법은 기준 방법들보다 뛰어난 순위 정렬 품질을 달성하며, PageRank 대비 NDCG@3 및 NDCG@5에서 20% 이상 향상되고, 조정되지 않은 그래디언트 없는 방법 대비 손실 함수 값이 20% 감소한다.

ABSTRACT

In this paper, we consider a problem of learning supervised PageRank models, which can account for some properties not considered by classical approaches such as the classical PageRank algorithm. Due to huge hidden dimension of the optimization problem we use random gradient-free methods to solve it. We prove a convergence theorem and estimate the number of arithmetic operations needed to solve it with a given accuracy. We find the best settings of the gradient-free optimization method in terms of the number of arithmetic operations needed to achieve given accuracy of the objective. In the paper, we apply our algorithm to the web page ranking problem. We consider a parametric graph model of users' behavior and evaluate web pages' relevance to queries by our algorithm. The experiments show that our optimization method outperforms the untuned gradient-free method in the ranking quality.

연구 동기 및 목표

• 고차원적이고 비미분 가능한 정적 분포로 인해 그래디언트 기반 방법의 학습이 계산적으로 불가능한 감독형 PageRank 학습 문제를 해결하기 위해.
• 정확한 도함수 계산을 피하기 위해 함수 값의 근사치를 사용하는 방법을 적용한 두 수준의 최적화 프레임워크를 개발하기 위해.
• 노드 및 간선의 특징을 활용하여 사용자 행동 패턴을 고려한 웹 페이지 순위 매기기 모델의 매개변수를 최적화하기 위해.
• 인간 평가자로부터의 관련성 점수 기반 손실 함수를 최소화하여 고전적 PageRank보다 순위 정렬 품질을 향상시키기 위해.
• 목표 함수의 정확도를 확보하기 위해 필요한 총 산술 연산 수에 대한 이론적 경계를 유도하기 위해.

제안 방법

• 두 수준의 알고리즘을 제안한다: 하위 수준은 매개변수에 의존하는 전이 확률을 갖는 마르코프 체인의 정적 분포를 선형 수렴 성질을 갖는 방법으로 근사한다.
• 상위 수준 최적화는 정확한 도함수가 계산 불가능한 환경에서 사용 가능한 함수 값의 정확도를 고려해 조정된 무작위 그래디언트 없는 방법을 적용한다.
• 알고리즘은 알려진 오차 한계를 갖는 유한 차분 근사법을 사용하여 도함수 추정을 수행하며, 이는 오라클의 근사치 조건 하에서 수렴을 보장한다.
• 노드 및 간선의 가중치가 특징에 대한 선형 함수로 구성된 매개변수 그래프 모델에 알고리즘을 적용하며, 목표 함수 최소화를 통해 매개변수를 학습한다.
• 이론적 분석을 통해 목표 함수의 주어진 정확도를 확보하기 위해 필요한 총 산술 연산 수에 대한 경계를 제공한다.
• 하위 수준의 반복 횟수와 전체 계산 비용 간의 최적 균형을 유도하여, 목표 정확도에 도달하기 위한 총 연산 수를 최소화한다.

실험 결과

연구 질문

• RQ1 정확한 도함수가 계산적으로 비용이 많이 들기 때문에, 정확한 도함수 계산이 불가능한 상황에서 근사 함수 평가를 사용한 그래디언트 없는 최적화가 감독형 PageRank 매개변수 학습에 효과적으로 적용될 수 있는가?
• RQ2 두 수준 최적화 프레임워크에서 정적 분포 근사의 정확도와 전체 계산 비용 사이의 최적 균형은 무엇인가?
• RQ3 제안된 그래디언트 없는 방법은 실세계 웹 데이터에서 표준 그래디언트 없는 방법 및 고전적 PageRank와 비교해 순위 정렬 품질에서 어떻게 성능을 내는가?
• RQ4 목표 함수의 주어진 정확도를 확보하기 위해 필요한 산술 연산 수에 대해 이론적 경계를 어떻게 설정할 수 있는가?
• RQ5 이 방법은 그래프 기반 학습에서 비볼록적이고 고차원적인 최적화 문제로 일반화될 수 있는가?

주요 결과

• 제안된 두 수준 그래디언트 없는 방법(GF2)은 손실 함수 값 0.00107을 달성하여, 조정되지 않은 그래디언트 없는 방법(GF1)의 0.001305 및 PageRank의 0.0118보다 유의미하게 낮다.
• GF2는 PageRank 대비 NDCG@3 및 NDCG@5에서 20% 이상 향상되었으며, p-값이 0.005 이하로 통계적으로 유의미하다.
• 이 방법은 이전 연구에서 기준으로 사용된 조정되지 않은 그래디언트 없는 방법과 고전적 PageRank 모두보다 순위 정렬 품질에서 뛰어나다.
• 이론적 분석 결과, [17]에서 제안한 하위 수준 방법이 다른 대안들보다 최적의 복잡도 경계를 제공하며, 총 계산 비용을 최소화한다.
• 목표 함수의 정확도에 도달하기 위해 필요한 산술 연산 수를 최소화하는 그래디언트 없는 방법의 최적 설정이 도출되었다.
• 이 프레임워크는 감독형 PageRank에서 정적 분포의 고차원적이고 비미분 가능한 성질을 효과적으로 다루며, 정확한 도함수 없이도 실용적인 학습을 가능하게 한다.