[論文レビュー] Learning Supervised PageRank with Gradient-Free Optimization Methods

Lev Bogolubsky, Pavel Dvurechensky+6 more|arXiv (Cornell University)|Nov 16, 2014

Advanced Bandit Algorithms Research参考文献 14被引用数 6

ひとこと要約

本稿では、監視付きPageRankモデルを学習するための二段階勾配フリー最適化手法を提案する。マコフ連鎖の定常分布は線形収束性を持つ手法で近似され、正確な微分を計算せずにパラメータが最適化される。この手法は、ベースライン手法よりも優れたランク品質を達成し、PageRankに対してNDCG@3およびNDCG@5で20%以上の向上を達成するとともに、最適化されていない勾配フリー手法と比較して損失関数値が20%低減された。

ABSTRACT

In this paper, we consider a problem of learning supervised PageRank models, which can account for some properties not considered by classical approaches such as the classical PageRank algorithm. Due to huge hidden dimension of the optimization problem we use random gradient-free methods to solve it. We prove a convergence theorem and estimate the number of arithmetic operations needed to solve it with a given accuracy. We find the best settings of the gradient-free optimization method in terms of the number of arithmetic operations needed to achieve given accuracy of the objective. In the paper, we apply our algorithm to the web page ranking problem. We consider a parametric graph model of users' behavior and evaluate web pages' relevance to queries by our algorithm. The experiments show that our optimization method outperforms the untuned gradient-free method in the ranking quality.

研究の動機と目的

• 高次元的かつ非微分可能な定常分布のため、勾配ベースの手法による監視付きPageRankの学習が計算的に非現実的であるという問題に対処すること。
• 正確な微分計算を回避するため、不正確な関数評価を用いた二段階最適化フレームワークの構築。
• ノードおよびエッジの特徴を用いて、ユーザー行動パターンを考慮したウェブページランクのためのモデルパラメータを最適化すること。
• 人間の評価者から得られた関連スコアに基づく損失関数を最小化することで、古典的PageRankよりもランク品質を向上させること。
• 目的関数の与えられた精度に達するまでの算術演算の総数に関する理論的上限を導出すること。

提案手法

• 二段階のアルゴリズムを提案：下位段階では、パラメータに依存する遷移確率を持つマコフ連鎖の定常分布を線形収束性を持つ手法で近似する。
• 上位段階の最適化では、正確な勾配が得られない状況で利用可能な不正確な関数値を扱えるように適合されたランダム勾配フリー手法を採用する。
• 既知の誤差バウンドを持つ有限差分近似を用いて勾配推定を実施し、不正確なオラクル条件のもとで収束を保証する。
• ノードおよびエッジの重みが特徴の線形関数として定義されるパラメトリックグラフモデルにアルゴリズムを適用し、目的関数の最小化によりパラメータを学習する。
• 理論的分析により、目的関数の与えられた精度に達するまでに要する算術演算の総数の上限を導出する。
• 下位段階の反復回数と全体の計算コストの最適なトレードオフを導出し、特定の精度に到達するまでの総演算数を最小化する設定を特定する。

実験結果

リサーチクエスチョン

• RQ1 正確な微分が計算的に困難な状況下でも、不正確な関数評価を伴う勾配フリー最適化を監視付きPageRankのパラメータ学習に効果的に適用可能か？
• RQ2 二段階最適化フレームワークにおいて、定常分布近似の精度と全体の計算コストの最適なバランスは何か？
• RQ3 提案手法の勾配フリー手法は、標準的な勾配フリー手法および古典的PageRankと比較して、実世界のWebデータにおけるランク品質でどのように優れているか？
• RQ4 目的関数の与えられた精度に達するまでに必要な算術演算数に関する理論的上限は、どのように確立できるか？
• RQ5 この手法は、グラフベースの学習における非凸的かつ高次元的な最適化問題へ一般化可能か？

主な発見

• 提案された二段階勾配フリー手法（GF2）は、損失関数値が0.00107にまで低下した。これは、最適化されていない勾配フリー手法（GF1）の0.001305およびPageRankの0.0118よりも顕著に低い。
• GF2は、PageRankと比較してNDCG@3およびNDCG@5で20%以上向上し、p値が0.005未満であったため、統計的に有意であった。
• この手法は、先行研究でベースラインとして用いられる古典的PageRankおよび最適化されていない勾配フリー手法を上回るランク品質を達成した。
• 理論的分析から、[17]の下位段階手法が代替手法と比較して最も良い計算複雑度バウンドを提供し、総計算コストを最小化することが示された。
• 目的関数の与えられた精度に到達するまでの算術演算数を最小化するための勾配フリー手法の最適設定が導出された。
• このフレームワークは、監視付きPageRankにおける高次元的かつ非微分可能な定常分布の性質を効果的に扱い、正確な微分を必要とせずに実用的な学習を可能にした。