[论文解读] Fast Rates of ERM and Stochastic Approximation: Adaptive to Error Bound Conditions

Mingrui Liu, Xiaoxuan Zhang+3 more|arXiv (Cornell University)|May 11, 2018

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

本文在误差界条件（EBC）下建立了经验风险最小化（ERM）和随机逼近（SA）的快速与中等收敛速率，自适应地适应EBC的幂常数，且无需事先知晓该常数。其方法实现了从Õ(1/√n)到Õ(1/n)的速率范围，特殊情况下甚至可实现超过1/n的加速，采用单遍SA算法，兼具高效性与自适应性。

ABSTRACT

Error bound conditions (EBC) are properties that characterize the growth of an objective function when a point is moved away from the optimal set. They have recently received increasing attention in the field of optimization for developing optimization algorithms with fast convergence. However, the studies of EBC in statistical learning are hitherto still limited. The main contributions of this paper are two-fold. First, we develop fast and intermediate rates of empirical risk minimization (ERM) under EBC for risk minimization with Lipschitz continuous, and smooth convex random functions. Second, we establish fast and intermediate rates of an efficient stochastic approximation (SA) algorithm for risk minimization with Lipschitz continuous random functions, which requires only one pass of $n$ samples and adapts to EBC. For both approaches, the convergence rates span a full spectrum between $\\widetilde O(1/\\sqrt{n})$ and $\\widetilde O(1/n)$ depending on the power constant in EBC, and could be even faster than $O(1/n)$ in special cases for ERM. Moreover, these convergence rates are automatically adaptive without using any knowledge of EBC. Overall, this work not only strengthens the understanding of ERM for statistical learning but also brings new fast stochastic algorithms for solving a broad range of statistical learning problems.

研究动机与目标

• 在误差界条件（EBC）下，拓展对统计学习中经验风险最小化（ERM）的理解。
• 开发一种随机逼近（SA）算法，实现在未知EBC参数下仍能实现快速收敛速率。
• 建立自适应于底层EBC的ERM与SA收敛速率，覆盖从Õ(1/√n)到Õ(1/n)的范围。
• 为具有Lipschitz连续与光滑凸随机函数的风险最小化问题，提供统一的快速率框架。

提出的方法

• 推导了在Lipschitz连续与光滑凸随机函数下，基于EBC的ERM的快速与中等收敛速率。
• 提出一种高效的单遍随机逼近算法，自适应于EBC，且无需知晓EBC的幂常数。
• 利用误差界条件刻画目标函数在最优解集附近的增长行为，从而实现更快的收敛速率。
• 建立依赖于EBC中幂常数的收敛速率，对更强的EBC给出更紧的界。
• 结合随机逼近与经验过程理论的技术，分析在EBC下的收敛行为。
• 证明所提出的SA算法在无需调参或事先知晓EBC参数的情况下，可实现最优或近似最优的收敛速率。

实验结果

研究问题

• RQ1 能否在未知EBC幂常数的情况下，于误差界条件（EBC）下建立ERM的快速收敛速率？
• RQ2 如何设计一种随机逼近算法，使其在EBC下自适应地实现快速收敛速率？
• RQ3 在EBC强度变化时，ERM与SA可实现的收敛速率全谱范围是什么？
• RQ4 所提出的SA算法能否在仅遍历数据一次的情况下，仍实现对未知EBC的快速收敛？
• RQ5 在何种条件下，ERM可实现快于O(1/n)的收敛速率？

主要发现

• 本文建立了ERM的收敛速率，其范围从Õ(1/√n)到Õ(1/n)，具体取决于误差界条件（EBC）中的幂常数。
• 对于ERM，当EBC以足够小的幂常数成立时，收敛速率可快于O(1/n)。
• 所提出的单遍随机逼近算法实现了快速与中等收敛速率，且自适应于EBC，无需事先知晓EBC的参数。
• SA算法的收敛速率自动适应，取决于EBC的强度，在更强的EBC下实现更快的收敛速率。
• 分析覆盖了Lipschitz连续与光滑凸随机函数，将快速率的适用范围扩展至广泛的统计学习问题。
• 结果表明，在EBC下，ERM与所提出的SA算法均可实现最优或近似最优的收敛速率，且SA算法高效，仅需对数据进行一次遍历。