[论文解读] Competing with the Empirical Risk Minimizer in a Single Pass

Roy Frostig, Rong Ge+2 more|arXiv (Cornell University)|Dec 20, 2014

Stochastic Gradient Optimization Techniques参考文献 21被引用 30

一句话总结

本文提出了一种单次遍历流式算法，在线性时间与空间内实现了经验风险最小化器（ERM）的统计收敛速率，仅需对数据进行一次遍历。该算法在初始误差上实现了超多项式衰减，达到ERM级别的性能，并且可轻松并行化，为线性回归和逻辑回归等任务提供了有限样本保证，前提是满足标准的光滑性和强凸性假设。

ABSTRACT

In many estimation problems, e.g. linear and logistic regression, we wish to minimize an unknown objective given only unbiased samples of the objective function. Furthermore, we aim to achieve this using as few samples as possible. In the absence of computational constraints, the minimizer of a sample average of observed data -- commonly referred to as either the empirical risk minimizer (ERM) or the $M$-estimator -- is widely regarded as the estimation strategy of choice due to its desirable statistical convergence properties. Our goal in this work is to perform as well as the ERM, on every problem, while minimizing the use of computational resources such as running time and space usage. We provide a simple streaming algorithm which, under standard regularity assumptions on the underlying problem, enjoys the following properties: * The algorithm can be implemented in linear time with a single pass of the observed data, using space linear in the size of a single sample. * The algorithm achieves the same statistical rate of convergence as the empirical risk minimizer on every problem, even considering constant factors. * The algorithm's performance depends on the initial error at a rate that decreases super-polynomially. * The algorithm is easily parallelizable. Moreover, we quantify the (finite-sample) rate at which the algorithm becomes competitive with the ERM.

研究动机与目标

• 开发一种计算高效的算法，使其在收敛速率方面与经验风险最小化器（ERM）的统计性能相匹配。
• 在实现ERM级别精度的同时，最小化计算资源——运行时间和内存占用，适用于所有问题。
• 量化算法在有限样本下与ERM竞争的速率，特别是初始误差衰减的速率。
• 确保算法易于并行化，适用于大规模流式数据。
• 为线性回归之外的更广泛类别的M-估计问题提供有限样本分析。

提出的方法

• 该算法是随机方差缩减梯度（SVRG）的一种变体，专为单次遍历数据的流式环境而设计。
• 它维护一个参考点处梯度和海森矩阵的运行估计，并定期更新以降低方差。
• 该方法采用固定步长，并通过控制条件数 $\kappa = L/\mu$ 来保证收敛，其中 $L$ 为光滑性参数，$\mu$ 为强凸性参数。
• 它引入了一个高概率事件 $\mathcal{E}$，以控制最优解处经验梯度与真实梯度之间的偏差。
• 分析利用海森矩阵近似值的特征值界，将多余风险与 $w_*$ 处经验梯度的范数联系起来。
• 通过结合浓度不等式与尾部概率界，证明关键事件的失败概率以 $O(1/N^p)$ 的速率衰减，从而实现有限样本保证。

实验结果

研究问题

• RQ1 单次遍历流式算法是否能在常数因子下实现与ERM相同的统计收敛速率？
• RQ2 该算法的初始误差衰减速率有多快？是否能超过多项式衰减速率？
• RQ3 在有限样本下，样本量达到多大时算法能与ERM竞争？
• RQ4 该算法是否可在不损失收敛保证的前提下实现并行化？
• RQ5 在诸如线性回归的问题中，算法性能如何依赖于条件数 $\kappa = L/\mu$？

主要发现

• 在标准光滑性与强凸性假设下，该算法即使考虑常数因子，也能实现与ERM相同的统计收敛速率。
• 它仅需对数据进行一次遍历，且空间复杂度与单个样本大小呈线性关系，适用于高效的流式部署。
• 初始误差以超多项式速率衰减，快于 $N/\kappa$ 的任意多项式，其中 $N$ 为样本大小，$\kappa$ 为条件数。
• 当 $N$ 超过 $\kappa$ 的常数倍时，该算法在有限样本下与ERM具有竞争力，其性能通过多余风险量化。
• 多余风险以高概率被限制在 $O(\sigma^2 / N)$ 以内，与ERM的有限样本速率仅相差一个常数因子。
• 该方法可轻松并行化，因为每次数据遍历均可分布到多台机器上，且不改变其收敛特性。