[论文解读] First-Order Adaptive Sample Size Methods to Reduce Complexity of Empirical Risk Minimization

Aryan Mokhtari, Alejandro Ribeiro|arXiv (Cornell University)|Sep 2, 2017

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文提出了一种用于经验风险最小化（ERM）的自适应样本大小方法，通过从较小的子样本开始并以几何方式逐步增大样本量，降低了计算复杂度。通过使用热启动和自适应正则化来改善条件数，该方法在标准一阶方法（如加速梯度下降和SVRG）的基础上，将梯度评估次数减少了对数因子，具体为 $ \log(N^\alpha) $ 的改进。

ABSTRACT

This paper studies empirical risk minimization (ERM) problems for large-scale datasets and incorporates the idea of adaptive sample size methods to improve the guaranteed convergence bounds for first-order stochastic and deterministic methods. In contrast to traditional methods that attempt to solve the ERM problem corresponding to the full dataset directly, adaptive sample size schemes start with a small number of samples and solve the corresponding ERM problem to its statistical accuracy. The sample size is then grown geometrically -- e.g., scaling by a factor of two -- and use the solution of the previous ERM as a warm start for the new ERM. Theoretical analyses show that the use of adaptive sample size methods reduces the overall computational cost of achieving the statistical accuracy of the whole dataset for a broad range of deterministic and stochastic first-order methods. The gains are specific to the choice of method. When particularized to, e.g., accelerated gradient descent and stochastic variance reduce gradient, the computational cost advantage is a logarithm of the number of training samples. Numerical experiments on various datasets confirm theoretical claims and showcase the gains of using the proposed adaptive sample size scheme.

研究动机与目标

• 解决使用一阶方法求解大规模ERM问题时计算成本过高的问题。
• 利用ERM的统计精度（作为真实风险最小化的代理）避免过度优化至超出有意义收敛的范围。
• 利用不同样本大小下ERM问题之间的结构相似性，提高收敛效率。
• 开发一种通过利用训练子集的几何增长和热启动解决方案来降低整体计算复杂度的方法。
• 为应用于ERM的确定性和随机一阶方法实现改进的收敛界。

提出的方法

• 从一个较小的初始样本大小开始，在该子集上求解ERM问题，直至达到其统计精度。
• 使用阶数为 $ V_n = \gamma / n^\alpha $ 的自适应正则化，以确保强凸性并改善条件数 $ \kappa_n $，而不改变目标精度。
• 以几何方式（例如每步加倍）增长样本大小，并将前一阶段的解作为下一阶段的热启动。
• 对每个子问题应用一阶方法（如加速梯度下降AGD或SVRG），其收敛界基于改进后的条件数推导得出。
• 通过要求每阶段执行 $ s_n $ 次迭代来确保收敛至完整数据集的统计精度，其中 $ s_n $ 随 $ n $ 对数增长。
• 通过累加所有阶段的计算量，推导出总计算复杂度，表明与标准方法相比，整体复杂度降低了 $ \log(N^\alpha) $ 的因子。

实验结果

研究问题

• RQ1 自适应样本大小方案是否能超越标准有限和最小化界，进一步降低一阶方法在ERM问题上的整体计算复杂度？
• RQ2 训练子集的几何增长结合热启动如何影响收敛速度和总梯度评估次数？
• RQ3 自适应正则化在不改变统计精度的前提下，能在多大程度上改善条件数并因此减少迭代次数？
• RQ4 将此方案应用于加速梯度下降或SVRG时，理论计算复杂度的提升是多少？
• RQ5 该方法在降低总计算成本的同时，是否仍能保持对完整数据集统计精度的收敛？

主要发现

• 自适应样本大小方法将加速梯度下降（AGD）的整体计算复杂度降低至 $ \mathcal{O}(N\sqrt{\kappa}) $，消除了标准AGD中固有的 $ \log(N^\alpha) $ 因子。
• 对于SVRG，总梯度计算次数被限制在 $ 4N \log_2\left[3 \cdot 2^\alpha + (2^\alpha - 1)(2 + c\|\mathbf{w}^*\|^2/2)\right] $ 以内，该值与阶段数无关，且随 $ N $ 线性增长。
• 该方法通过利用ERM的统计精度以及随样本大小增长而保持相似的ERM问题结构，实现了复杂度的对数级降低——具体为 $ \log(N^\alpha) $。
• 理论分析表明，每阶段的迭代次数 $ s_n $ 随 $ n $ 对数增长，且总代价被一个常数倍的 $ N $ 所限制，而非 $ N \log N $。
• 数值实验验证了理论结论，在多种数据集上相比标准一阶方法表现出显著的速度提升。
• 该方法适用于凸函数和非强凸函数，而此前的自适应方案通常要求强凸性。