[논문 리뷰] Learning Supervised PageRank with Gradient-Based and Gradient-Free Optimization Methods

Lev Bogolubsky, Pavel Dvurechensky외 6명|arXiv (Cornell University)|2016. 03. 02.

Optimization and Search Problems참고 문헌 16인용 수 35

한 줄 요약

이 논문은 정적 분포의 도함수를 구하는 데 있어 비가역적인 도함수 정보로 인해 비볼록 손실 최소화 문제를 다루는 기울기 기반 및 기울기 자유 최적화 방법을 제안한다. 기울기 자유 방법의 경우 국소적 볼록성 하에서 기대 손실 감소 보장을, 기울기 기반 방법의 경우 비볼록성 하에서 정류점 수렴 보장을 이론적으로 확립하며, 최적의 초모수 설정과 복잡도 한계를 도출한다. 실험 결과는 최신 기법들보다 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we consider a non-convex loss-minimization problem of learning Supervised PageRank models, which can account for some properties not considered by classical approaches such as the classical PageRank model. We propose gradient-based and random gradient-free methods to solve this problem. Our algorithms are based on the concept of an inexact oracle and unlike the state state-of-the-art gradient-based method we manage to provide theoretically the convergence rate guarantees for both of them. In particular, under the assumption of local convexity of the loss function, our random gradient-free algorithm guarantees decrease of the loss function value expectation. At the same time, we theoretically justify that without convexity assumption for the loss function our gradient-based algorithm allows to find a point where the stationary condition is fulfilled with a given accuracy. For both proposed optimization algorithms, we find the settings of hyperparameters which give the lowest complexity (i.e., the number of arithmetic operations needed to achieve the given accuracy of the solution of the loss-minimization problem). The resulting estimates of the complexity are also provided. Finally, we apply proposed optimization algorithms to the web page ranking problem and compare proposed and state-of-the-art algorithms in terms of the considered loss function.

연구 동기 및 목표

• 정적 분포의 정확한 도함수 계산이 불가능한 상황에서 Supervised PageRank 파라미터 학습 문제를 해결하기 위해.
• 정적 분포와 그 도함수의 근사 계산으로 인한 근사 정보를 고려한 최적화 알고리즘 개발을 위해.
• 비볼록 설정 하에서 기울기 기반 및 기울기 자유 방법에 대한 이론적 수렴 보장을 제공하기 위해.
• 주어진 정확도를 달성하기 위한 계산 복잡도를 최소화하는 최적의 초모수 설정을 도출하기 위해.
• 실제 웹 페이지 랭킹 데이터에서 제안된 방법을 실험적으로 평가하고 최신 기법들과 비교하기 위해.

제안 방법

• 하나의 최적화 프레임워크를 사용하여 하위 수준에서는 파wer 방법을 통해 근사된 기울기 및 함수 값 추정치를 계산하고, 상위 수준에서는 반복적 최적화를 적용한다.
• 손실 함수와 그 기울기의 추정치가 부정확한 상황을 다룰 수 있는 비정확한 오라클 모델을 도입하여 불확실성 하에서의 수렴 분석을 가능하게 한다.
• 기울기 기반 알고리즘에 Nesterov의 가속 기울기 방법을 적용하고, 볼록성 없이도 정류점 수렴을 이론적으로 보장한다.
• 확률적 근사 기반의 무기울기 최적화 방법을 도입하여 국소적 볼록성 하에서 기대 손실 감소를 증명한다.
• 이론적 복잡도 분석에 기반해 주어진 정확도를 달성하기 위한 총 산술 연산 수를 최소화하는 최적의 스텝 크기 및 반복 횟수를 유도한다.
• 하위 수준에서 정적 분포와 그 파라미터에 대한 민감도를 추정하기 위해 파워 방법 및 그 도함수 확장 기법(Andrew, 1978, 1979)을 사용한다.

실험 결과

연구 질문

• RQ1 국소적 볼록성 하에서 기대 손실 감소를 보장하는 비볼록 Supervised PageRank 학습을 위한 기울기 자유 최적화 방법을 설계할 수 있는가?
• RQ2 손실 함수가 비볼록이고 기울기가 근사적인 상황에서, 기울기 기반 방법이 이론적으로 정류점으로 수렴할 수 있는가?
• RQ3 손실 최소화에서 주어진 정확도를 달성하기 위해 계산 복잡도(산술 연산 수)를 최소화하는 초모수 설정은 무엇인가?
• RQ4 실제 웹 랭킹 데이터에서 제안된 방법들은 최신 기법들과 비교해 수렴 속도와 최종 손실 값 측면에서 어떻게 성능을 내는가?
• RQ5 Nesterov–Nemirovski 방법은 표준 파워 방법보다 정적 분포 계산에서 더 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 기울기 자유 방법은 손실 함수의 국소적 볼록성 가정 하에서 기대 손실 함수 값의 감소를 보장한다.
• 기울기 기반 방법은 볼록성 가정 없이도 주어진 정확도 내에서 정류 조건을 만족하는 점으로 수렴함을 보장한다.
• 기울기 자유 방법의 경우 강한 볼록성 하에서 기대 손실이 기하급수적으로 감소하며, 수렴 속도는 조건 수와 원하는 신뢰 수준에 따라 달라진다.
• 두 알고리즘의 계산 복잡도는 문제 매개변수(예: 리프시츠 상수, 정의역 직경 등)에 따라 명시적으로 유도된 경계를 기반으로 신중히 선택된 초모수 설정을 통해 최소화된다.
• 모든 테스트 세트에서 기울기 자유 방법(GFN)은 최신 기법보다 최종 손실 값에서 뛰어난 성능을 보였으며, 대응 t-검정에서 p-값이 0.005 이하였다.
• 기울기 기반 방법(GBN)은 한 테스트 세트($Q_2^1$)에서 최신 기법보다 뛰어난 성능을 보였고, 다른 세트에서는 유사한 결과를 보였으며, 훨씬 적은 반복 횟수로도 성능 달성을 이룬 바 있었다.