[论文解读] Learning Supervised PageRank with Gradient-Free Optimization Methods

Lev Bogolubsky, Pavel Dvurechensky+6 more|arXiv (Cornell University)|Nov 16, 2014

Advanced Bandit Algorithms Research参考文献 14被引用 6

一句话总结

本文提出一种两级无梯度优化方法，用于学习监督式PageRank模型，其中通过线性收敛方法近似马尔可夫链的平稳分布，且在不计算精确导数的情况下优化参数。该方法在基线方法上实现了更优的排序质量，相较于PageRank在NDCG@3和NDCG@5上提升20%以上，且相比未调优的无梯度方法，损失函数值降低20%。

ABSTRACT

In this paper, we consider a problem of learning supervised PageRank models, which can account for some properties not considered by classical approaches such as the classical PageRank algorithm. Due to huge hidden dimension of the optimization problem we use random gradient-free methods to solve it. We prove a convergence theorem and estimate the number of arithmetic operations needed to solve it with a given accuracy. We find the best settings of the gradient-free optimization method in terms of the number of arithmetic operations needed to achieve given accuracy of the objective. In the paper, we apply our algorithm to the web page ranking problem. We consider a parametric graph model of users' behavior and evaluate web pages' relevance to queries by our algorithm. The experiments show that our optimization method outperforms the untuned gradient-free method in the ranking quality.

研究动机与目标

• 为解决由于高维、不可微的平稳分布导致基于梯度的方法在学习监督式PageRank时计算不可行的问题。
• 提出一种两级优化框架，通过使用不精确的函数评估避免精确导数的计算。
• 利用节点和边的特征，同时考虑用户行为模式，优化模型参数以实现网页排序。
• 基于人工评估者的相关性评分最小化损失函数，从而在排序质量上超越经典PageRank。
• 推导计算复杂度的理论界，并确定在算术运算数量方面，无梯度方法的最优设置。

提出的方法

• 提出一种两级算法：下层使用线性收敛方法，近似具有参数依赖转移概率的马尔可夫链的平稳分布。
• 上层优化采用一种适应于处理具有已知精度函数值的无梯度方法，使其适用于精确梯度不可行的场景。
• 使用具有已知误差界的有限差分近似进行梯度估计，确保在不精确预言机条件下实现收敛。
• 该算法应用于参数化图模型，其中节点和边的权重是特征的线性函数，参数通过目标函数最小化学习。
• 理论分析提供了为实现目标函数给定精度所需算术运算总数的上界。
• 推导出下层迭代次数与总体计算成本之间的最优权衡，以最小化达到目标精度所需的总运算量。

实验结果

研究问题

• RQ1 当精确导数在计算上不可行时，是否可以有效应用具有不精确函数评估的无梯度优化方法来学习监督式PageRank参数？
• RQ2 在两级优化框架中，平稳分布近似精度与总体计算成本之间应如何实现最优平衡？
• RQ3 在真实世界网页数据上，所提出的无梯度方法与标准无梯度方法及经典PageRank相比，排序质量如何？
• RQ4 能否为实现目标函数给定精度所需算术运算数量建立理论界？
• RQ5 该方法能否推广至图学习中的其他非凸、高维优化问题？

主要发现

• 所提出的两级无梯度方法（GF2）的损失函数值为0.00107，显著低于未调优无梯度方法（GF1）的0.001305和PageRank的0.0118。
• 与PageRank相比，GF2在NDCG@3和NDCG@5上提升超过20%，p值<0.005，表明具有统计显著性。
• 该方法在排序质量上优于未调优无梯度方法和经典PageRank，即使后者在先前工作中被用作基线。
• 理论分析表明，[17]中的下层方法在所有备选方案中提供了最佳复杂度界，从而最小化了总计算成本。
• 推导出无梯度方法的最优设置，使达到目标精度所需算术运算数量最小化。
• 该框架成功处理了监督式PageRank中平稳分布的高维、不可微特性，实现了无需精确导数的实用学习。