[论文解读] Gradient-Based Empirical Risk Minimization using Local Polynomial Regression

Ali Jadbabaie, Anuran Makur+1 more|arXiv (Cornell University)|Nov 4, 2020

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出了一种新型基于梯度的经验风险最小化算法，利用局部多项式回归来利用数据中损失函数的平滑性，在低数据维度环境下，其Oracle复杂度优于批量梯度下降（GD）和随机梯度下降（SGD）。该方法通过局部插值学习梯度，实现了 $\tilde{O}((p\epsilon^{-1})^{d/(2\eta)})$ 的Oracle复杂度，当数据维度 $d$ 较小且损失函数在数据上为 $\eta$-Hölder平滑时，优于GD和SGD。

ABSTRACT

In this paper, we consider the problem of empirical risk minimization (ERM) of smooth, strongly convex loss functions using iterative gradient-based methods. A major goal of this literature has been to compare different algorithms, such as gradient descent (GD) or stochastic gradient descent (SGD), by analyzing their rates of convergence to $ε$-approximate solutions. For example, the oracle complexity of GD is $O(n\log(ε^{-1}))$, where $n$ is the number of training samples. When $n$ is large, this can be expensive in practice, and SGD is preferred due to its oracle complexity of $O(ε^{-1})$. Such standard analyses only utilize the smoothness of the loss function in the parameter being optimized. In contrast, we demonstrate that when the loss function is smooth in the data, we can learn the oracle at every iteration and beat the oracle complexities of both GD and SGD in important regimes. Specifically, at every iteration, our proposed algorithm performs local polynomial regression to learn the gradient of the loss function, and then estimates the true gradient of the ERM objective function. We establish that the oracle complexity of our algorithm scales like $ ilde{O}((p ε^{-1})^{d/(2η)})$ (neglecting sub-dominant factors), where $d$ and $p$ are the data and parameter space dimensions, respectively, and the gradient of the loss function belongs to a $η$-Hölder class with respect to the data. Our proof extends the analysis of local polynomial regression in non-parametric statistics to provide interpolation guarantees in multivariate settings, and also exploits tools from the inexact GD literature. Unlike GD and SGD, the complexity of our method depends on $d$ and $p$. However, when $d$ is small and the loss function exhibits modest smoothness in the data, our algorithm beats GD and SGD in oracle complexity for a very broad range of $p$ and $ε$.

研究动机与目标

• 解决标准基于梯度的ERM方法忽略损失函数在数据中平滑性的问题，尽管这种平滑性在实际机器学习问题中普遍存在。
• 克服批量梯度下降（GD）在 $n$ 较大时的高Oracle复杂度，以及随机梯度下降（SGD）在 $\epsilon$-依赖性方面的次优收敛性。
• 开发一种新的优化框架，利用损失函数相对于训练数据的平滑性，而不仅限于模型参数。
• 在多变量、非参数设定下，基于现实的平滑性假设，建立收敛速率和Oracle复杂度的理论保证。
• 对多变量设定下的局部多项式回归进行严格分析，实现上确界范数控制，从而支持基于插值的梯度估计。

提出的方法

• 在每次迭代中，对一个虚拟小批量数据点进行局部多项式回归，以估计损失函数相对于数据的梯度。
• 利用估计的局部梯度构建经验风险最小化（ERM）目标函数真实梯度的代理。
• 使用插值梯度估计执行非精确梯度下降，将局部回归视为代理Oracle。
• 利用具有上确界范数保证的多变量局部多项式插值，确保在Hölder平滑性假设下梯度近似的准确性。
• 整合非精确梯度下降理论工具，以界收敛误差并推导Oracle复杂度界。
• 假设损失函数在数据上为 $\eta$-Hölder平滑（而非参数），使该方法能够利用数据平滑性实现更快收敛。

实验结果

研究问题

• RQ1 我们能否通过利用损失函数在数据中的平滑性，将ERM的Oracle复杂度超越GD和SGD？
• RQ2 一种通过在数据空间中使用局部多项式回归学习梯度的算法，其理论收敛速率是什么？
• RQ3 所提方法的Oracle复杂度如何随数据维度 $d$、参数维度 $p$ 和期望精度 $\epsilon$ 变化？
• RQ4 在何种条件下，该方法在梯度查询效率方面优于GD和SGD？
• RQ5 我们能否在Hölder平滑性假设下，为多变量局部多项式回归建立严格的上确界范数误差界？

主要发现

• 所提LIP-GD算法实现了 $\tilde{O}((p\epsilon^{-1})^{d/(2\eta)})$ 的Oracle复杂度，该复杂度同时依赖于数据维度 $d$ 和参数维度 $p$，而GD和SGD则不具备此特性。
• 当数据维度 $d$ 较小且平滑度 $\eta = \Theta(d)$ 适中时，该方法在广泛的 $p$ 和 $\epsilon$ 范围内优于GD和SGD。
• 在 $n \to \infty$ 的极限下，当满足 $\tau > \max\{1, \alpha^{-1}\}$ 条件时，LIP-GD的Oracle复杂度严格优于GD和SGD，其中 $\tau$ 控制收敛速率。
• 该分析为多变量局部多项式回归提供了新的上确界范数保证，将非参数统计方法扩展至高维插值并实现误差控制。
• 该方法的收敛性通过非精确梯度下降理论工具建立，误差界基于损失梯度在数据上的Hölder连续性推导得出。
• 理论框架表明，通常在标准ERM分析中被忽略的数据平滑性，可被用于设计收敛速度可证明更快的优化算法。