[论文解读] Local Optimality and Generalization Guarantees for the Langevin Algorithm via Empirical Metastability

Belinda Tzen, Tengyuan Liang+1 more|arXiv (Cornell University)|Feb 18, 2018

Markov Chains and Monte Carlo Methods参考文献 12被引用 6

一句话总结

本文通过引入经验亚稳态的概念，为非凸经验风险最小化中的朗之万算法建立了局部最优性和泛化保证。结果表明，以高概率，该算法要么在短时间内迅速逃离局部最优解的 $\varepsilon$-邻域，要么在其中停留指数时间之久，其行为与 Eyring-Kramers 定律一致，并在对总体风险的温和假设下实现了泛化界。

ABSTRACT

We study the detailed path-wise behavior of the discrete-time Langevin algorithm for non-convex Empirical Risk Minimization (ERM) through the lens of metastability, adopting some techniques from Berglund and Gentz (2003. For a particular local optimum of the empirical risk, with an arbitrary initialization, we show that, with high probability, at least one of the following two events will occur: (1) the Langevin trajectory ends up somewhere outside the $\varepsilon$-neighborhood of this particular optimum within a short recurrence time; (2) it enters this $\varepsilon$-neighborhood by the recurrence time and stays there until a potentially exponentially long escape time. We call this phenomenon empirical metastability. This two-timescale characterization aligns nicely with the existing literature in the following two senses. First, the effective recurrence time (i.e., number of iterations multiplied by stepsize) is dimension-independent, and resembles the convergence time of continuous-time deterministic Gradient Descent (GD). However unlike GD, the Langevin algorithm does not require strong conditions on local initialization, and has the possibility of eventually visiting all optima. Second, the scaling of the escape time is consistent with the Eyring-Kramers law, which states that the Langevin scheme will eventually visit all local minima, but it will take an exponentially long time to transit among them. We apply this path-wise concentration result in the context of statistical learning to examine local notions of generalization and optimality.

研究动机与目标

• 为非凸经验风险最小化中的朗之万算法提供一种精细化的路径分析。
• 刻画算法在三个时间尺度上的行为：短期回溯时间、中期亚稳态时间以及长期逃逸时间。
• 通过将经验亚稳态与统计学习性能关联，建立泛化保证。
• 表明朗之万算法可在无需强初始化条件的情况下逃离不良局部最优解，而这是梯度下降方法所不具备的。
• 在温和的正则性条件下，推导出经验风险与总体风险之间偏差的高概率界，从而确保稳定性与泛化性。

提出的方法

• 运用随机过程与亚稳态理论的技术，特别是借鉴 Berglund 和 Gentz（2003）的研究，分析离散朗之万动力学。
• 提出经验亚稳态的概念：以高概率，朗之万轨迹要么在短时间内迅速离开局部最优解的 $\varepsilon$-邻域，要么在其中停留指数时间之久。
• 采用双时间尺度分析：回溯时间与维度无关，类似于确定性梯度下降；而逃逸时间则符合 Eyring-Kramers 定律。
• 应用浓度不等式，在温和的正则性条件下控制经验风险及其梯度与总体风险之间的偏差。
• 利用 Weyl 的扰动定理，证明当总体风险为强 Morse 函数时，经验风险的 Hessian 矩阵以高概率保持良好条件。
• 通过将总体风险误差分解为两部分（经验-总体偏差与轨迹次优性），推导出泛化界。

实验结果

研究问题

• RQ1 在何种条件下，朗之万算法可避免陷入经验风险的不良局部极小值？
• RQ2 朗之万算法的回溯时间如何随维度和步长变化？其与确定性梯度下降相比有何异同？
• RQ3 从局部极小值逃逸的典型时间是多少？在非凸设置下，该时间是否与 Eyring-Kramers 定律一致？
• RQ4 经验亚稳态能否用于推导朗之万算法在统计学习中的高概率泛化界？
• RQ5 在抽样条件下，经验风险景观与总体风险景观之间有何关系？在何种条件下可保证局部极小值被保留？

主要发现

• 以高概率，朗之万轨迹在 $\tilde{\mathcal{O}}\left(\frac{1}{\eta}\log\frac{1}{\varepsilon}\right)$ 的回溯时间内逃离局部最优解的 $\varepsilon$-邻域，或在其中停留指数时间之久。
• 回溯时间与维度无关，且类似于连续时间确定性梯度下降的收敛时间，且无需强初始化条件。
• 逃逸时间符合 Eyring-Kramers 定律，意味着算法最终会访问所有局部极小值，但需经历指数时间量级的逃逸时间（随维度指数增长）。
• 在温和假设下，当 $n \geq cd\log d$ 且 $n/d\log n \geq c\sigma^2/(\varepsilon_0 \wedge m)^2$ 时，经验风险以高概率为 $(\varepsilon_0, m)$-强 Morse，从而保证局部极小值的良好条件性。
• 以高概率，经验风险与总体风险之间的偏差被控制在 $\sigma\sqrt{cd\log n / n}$ 以内，其中 $\sigma = (A + (B + MR)R) \vee (B + MR) \vee (C + LR)$。
• 泛化误差被界定为 $\sigma\sqrt{cd\log n / n}$ 加上一个当轨迹始终停留在局部极小值附近小邻域时趋于零的项，从而得到高概率的后验风险界。