[论文解读] Instability, Computational Efficiency and Statistical Accuracy

Nhat Ho, Koulik Khamaru+4 more|arXiv (Cornell University)|May 22, 2020

Gaussian Processes and Bayesian Inference参考文献 48被引用 8

一句话总结

本文提出一个通用框架，将迭代估计器的算法稳定性、计算效率与统计精度联系起来。结果表明，在特定条件下，不稳定的算法（如牛顿法）可实现与稳定算法（如梯度下降）相同的统计精度，且收敛迭代次数从多项式级降至对数级，即收敛速度在样本量 n 上从多项式变为对数级。

ABSTRACT

Many statistical estimators are defined as the fixed point of a data-dependent operator, with estimators based on minimizing a cost function being an important special case. The limiting performance of such estimators depends on the properties of the population-level operator in the idealized limit of infinitely many samples. We develop a general framework that yields bounds on statistical accuracy based on the interplay between the deterministic convergence rate of the algorithm at the population level, and its degree of (in)stability when applied to an empirical object based on $n$ samples. Using this framework, we analyze both stable forms of gradient descent and some higher-order and unstable algorithms, including Newton's method and its cubic-regularized variant, as well as the EM algorithm. We provide applications of our general results to several concrete classes of models, including Gaussian mixture estimation, non-linear regression models, and informative non-response models. We exhibit cases in which an unstable algorithm can achieve the same statistical accuracy as a stable algorithm in exponentially fewer steps -- namely, with the number of iterations being reduced from polynomial to logarithmic in sample size $n$.

研究动机与目标

• 解决长期存在的观点，即算法稳定性对高效统计估计是必要的。
• 分析迭代算法中总体收敛速率与经验不稳定性之间的相互作用。
• 证明不稳定的算法可在远少于稳定算法的迭代次数内达到最优统计精度。
• 为包括梯度下降、牛顿法和期望最大化（EM）在内的广泛估计器提供一个通用的理论框架。
• 建立不稳定的算法在不牺牲统计精度的前提下，计算效率优于稳定算法的条件。

提出的方法

• 提出一种从总体到样本的分析框架，将样本级迭代的误差分解为总体收敛与经验不稳定性两部分。
• 定义两个关键属性：总体收敛速率（如梯度下降的 SLOW(1/(4p-2))）与经验稳定性（如梯度下降的 STA(2p-1)）。
• 使用一致浓度界量化经验算子与其总体对应物之间的偏差，噪声水平为 √(d + log(1/δ))/n。
• 将该框架应用于分析梯度下降、牛顿法、其带三次正则化的变体以及期望最大化（EM）算法在多种模型中的表现。
• 推导出依赖于收敛速率与稳定性的非渐近估计误差界，从而实现不同算法间的比较。
• 运用高维概率与扰动理论工具，建立总体与经验算子的统一稳定性与压缩性界。

实验结果

研究问题

• RQ1 不稳定的优化算法是否可在显著更少的迭代次数内实现与稳定算法相同的统计精度？
• RQ2 在有限样本设置下，算法稳定性、收敛速率与计算效率之间存在何种权衡？
• RQ3 在何种条件下，如牛顿法这样的不稳定算法在迭代复杂度上优于稳定梯度下降？
• RQ4 总体收敛与经验不稳定性之间的相互作用如何影响最终的统计误差？
• RQ5 所提出的框架是否可适用于广泛类别的估计器，包括非凸与高阶优化方法？

主要发现

• 牛顿法可在 O(log n) 次迭代内实现与梯度下降相同的统计精度，而梯度下降需 O((n/d)^((2p-1)/(2p))) 次迭代。
• 在非线性回归中，当 p=1 时，梯度下降在 O((n/d)^{1/2}) 次迭代后收敛至半径为 O((d/n)^{1/4}) 的球内。
• 当 d^{(6p-1)/(4p-1)} ≪ n 时，由于牛顿法的迭代次数为对数级，其计算效率高于梯度下降。
• 在单位球内，当步长 η ≤ 1/((4p-1)!!(2p)) 时，总体梯度下降算子 F^GD 为 SLOW(1/(4p-2))-收敛。
• 经验梯度下降算子 F^GD_n 为 STA(2p-1)-稳定，噪声 ε(n,δ) = √(d + log(1/δ))/n，确保扰动影响有界。
• 该框架可实现依赖于收敛速率与稳定性的非渐近误差界，表明不稳定性不必然降低统计精度。