[论文解读] Large Scale Empirical Risk Minimization via Truncated Adaptive Newton Method

Mark Eisen, Aryan Mokhtari+1 more|arXiv (Cornell University)|May 22, 2017

Statistical Methods and Inference被引用 12

一句话总结

本文提出 k-Truncated Adaptive Newton (k-TAN) 方法，一种用于大规模经验风险最小化（ERM）的二阶优化算法，结合自适应样本规模与截断 Hessian 逆运算。通过几何级数增加训练集规模，并对每个子问题仅使用一次截断牛顿步，该方法在约两个完整数据遍历周期内达到统计精度，其收敛速度优于随机一阶方法，尤其在病态条件问题上表现更优。

ABSTRACT

We consider large scale empirical risk minimization (ERM) problems, where both the problem dimension and variable size is large. In these cases, most second order methods are infeasible due to the high cost in both computing the Hessian over all samples and computing its inverse in high dimensions. In this paper, we propose a novel adaptive sample size second-order method, which reduces the cost of computing the Hessian by solving a sequence of ERM problems corresponding to a subset of samples and lowers the cost of computing the Hessian inverse using a truncated eigenvalue decomposition. We show that while we geometrically increase the size of the training set at each stage, a single iteration of the truncated Newton method is sufficient to solve the new ERM within its statistical accuracy. Moreover, for a large number of samples we are allowed to double the size of the training set at each stage, and the proposed method subsequently reaches the statistical accuracy of the full training set approximately after two effective passes. In addition to this theoretical result, we show empirically on a number of well known data sets that the proposed truncated adaptive sample size algorithm outperforms stochastic alternatives for solving ERM problems.

研究动机与目标

• 解决在高维数据与大规模数据集下，二阶方法在大规模经验风险最小化（ERM）中计算成本过高的问题。
• 克服在高维空间与大规模样本集合中计算与求逆完整 Hessian 矩阵的高昂代价。
• 利用统计精度边界来证明近似方法的合理性，从而在不牺牲解质量的前提下降低计算复杂度。
• 设计一种自适应样本规模策略，使训练集规模几何增长，同时保持收敛至统计精度。
• 设计一种截断牛顿方法，通过低秩 Hessian 近似高效求解每个子问题，实现在每个子问题上的快速收敛。

提出的方法

• 提出 k-Truncated Adaptive Newton (k-TAN) 方法，将自适应样本规模选择与截断 Hessian 逆运算结合，用于 ERM 问题。
• 使用一系列在逐步增大的数据子集上的 ERM 问题，样本规模在每个阶段翻倍，以实现几何增长。
• 仅使用前 k 个最大特征值对 Hessian 矩阵进行截断特征值分解，以低成本近似 Hessian 逆矩阵。
• 每个子问题仅执行一次截断牛顿步，确保收敛至当前子问题的统计精度范围内。
• 利用牛顿下降量与曲率信息，确保迭代点始终位于每个子问题的二次收敛区域内。
• 推导出子问题最优性与截断误差的界，以保证每个子问题的解均在完整 ERM 解的统计精度范围内。

实验结果

研究问题

• RQ1 能否通过降低 Hessian 矩阵的计算与求逆成本，使二阶方法在大规模 ERM 问题中具备可扩展性？
• RQ2 在几何级数增加训练集规模的同时，若每个子问题仅使用一次截断牛顿步，是否能实现收敛至统计精度？
• RQ3 通过低秩近似截断 Hessian 逆矩阵，是否能在降低计算成本的同时保持收敛速度？
• RQ4 k-TAN 迭代解的次优性是否受当前数据子集统计精度的有界控制，从而确保整体解的质量？
• RQ5 该方法是否能在约两个有效数据遍历周期内收敛至完整数据的统计精度？

主要发现

• 尽管使用了截断 Hessian 近似，k-TAN 方法在约两个有效数据遍历周期内即可达到完整训练集的统计精度。
• 由于自适应采样使迭代点进入二次收敛区域，每个子问题仅需一次截断牛顿步即可将每个 ERM 实例求解至其统计精度范围内。
• k-TAN 迭代解的次优性受统计精度 $V_m = \tilde{O}(1/m)$ 与截断误差 $\rho c V_n$ 的函数有界，确保收敛至目标容差。
• 该方法在每个子问题上实现了近似二次的收敛速率，且截断误差 $\rho$ 被控制得足够小，使得额外误差与统计精度相比可忽略不计。
• 实验结果表明，k-TAN 在知名数据集上的表现优于随机一阶方法，尤其在病态条件问题上，其收敛速度远超一阶方法。
• 理论分析表明，当 Hessian 的第 $k+1$ 个特征值满足 $\nu_{k+1} \triangleq \rho c V_n$ 时，子问题的次优性 $S_n(\textbf{x}_n)$ 被有界于 $V_n$，从而确保解在完整 ERM 问题的统计精度范围内。