[论文解读] Greedy Block Coordinate Descent for Large Scale Gaussian Process Regression

Liefeng Bo, Cristian Sminchisescu|arXiv (Cornell University)|Jun 13, 2012

Gaussian Processes and Bayesian Inference参考文献 31被引用 15

一句话总结

本文提出贪婪块坐标下降（GBCD），一种变量分解方法，通过迭代使用贪婪活跃集选择求解小型子问题，加速大规模高斯过程回归。通过直接估计目标函数的下降量，GBCD 实现了全局收敛，并在最多 100,000 个样本的数据集上，相较于共轭梯度法和 SMO 方法实现了高达 10 倍的加速，同时保持了高精度。

ABSTRACT

We propose a variable decomposition algorithm -greedy block coordinate descent (GBCD)- in order to make dense Gaussian process regression practical for large scale problems. GBCD breaks a large scale optimization into a series of small sub-problems. The challenge in variable decomposition algorithms is the identification of a subproblem (the active set of variables) that yields the largest improvement. We analyze the limitations of existing methods and cast the active set selection into a zero-norm constrained optimization problem that we solve using greedy methods. By directly estimating the decrease in the objective function, we obtain not only efficient approximate solutions for GBCD, but we are also able to demonstrate that the method is globally convergent. Empirical comparisons against competing dense methods like Conjugate Gradient or SMO show that GBCD is an order of magnitude faster. Comparisons against sparse GP methods show that GBCD is both accurate and capable of handling datasets of 100,000 samples or more.

研究动机与目标

• 解决大规模数据集上密集高斯过程回归的计算不可行性问题。
• 克服块坐标下降方法中选择最优子问题（活跃集）的挑战。
• 开发一种可扩展的、全局收敛的算法，用于密集 GP 回归，避免稀疏方法带来的近似误差。
• 在保持预测精度的同时，相较于现有密集求解器（如共轭梯度法和 SMO）实现显著加速。

提出的方法

• GBCD 通过在每次迭代中选择一组变量进行更新，将大规模优化问题分解为一系列小型子问题。
• 活跃集选择被建模为一个零范数约束优化问题，以最大化目标函数的下降量。
• 采用贪婪策略，通过直接估计目标函数的减少量来近似最优活跃集。
• 通过在每次迭代中单调下降目标函数，该方法确保了全局收敛。
• 通过利用低秩更新和高效的子问题求解，避免了显式的矩阵求逆。
• 该方法专为密集核矩阵设计，可在不改变核结构稀疏性的情况下实现高精度回归。

实验结果

研究问题

• RQ1 贪婪块坐标下降方法是否能在大规模密集高斯过程回归中同时实现速度与精度？
• RQ2 如何优化块坐标下降中的活跃集选择，以最大化目标函数的下降？
• RQ3 基于贪婪选择的变量分解方法是否能在密集 GP 设置下实现全局收敛？
• RQ4 在大规模数据集上，GBCD 与共轭梯度法、SMO 及稀疏 GP 方法相比，在速度和精度方面表现如何？
• RQ5 GBCD 是否可扩展至 100,000 个或更多样本的数据集，同时保持高预测性能？

主要发现

• 在大规模 GP 回归任务中，GBCD 的收敛速度相比共轭梯度法和 SMO 最快可提升一个数量级。
• 该方法通过在每次迭代中单调减少目标函数，实现了全局收敛。
• GBCD 保持了高预测精度，在大规模数据集上的测试误差低于稀疏 GP 方法。
• 实验结果表明，GBCD 能有效扩展至 100,000 个样本的数据集，证实了其在大规模应用中的实用性。
• 基于直接估计目标函数下降量的贪婪活跃集选择策略，相比启发式或近似选择方法，性能更优。