[论文解读] On the Local Minima of the Empirical Risk

Chi Jin, Lydia T. Liu+2 more|arXiv (Cornell University)|Mar 25, 2018

Stochastic Gradient Optimization Techniques被引用 22

一句话总结

本文提出一种在平滑化经验风险上的随机梯度下降（SGD）算法，以摆脱由抽样噪声引起的虚假局部极小值。证明了只要经验风险误差 $\nu$ 有界于 $O(\epsilon^{1.5}/d)$，该算法即可找到真实总体风险的 $\epsilon$-近似局部极小值，从而在非凸设置下为这类优化问题建立了紧致且最优的容差边界。

ABSTRACT

Population risk is always of primary interest in machine learning; however, learning algorithms only have access to the empirical risk. Even for applications with nonconvex nonsmooth losses (such as modern deep networks), the population risk is generally significantly more well-behaved from an optimization point of view than the empirical risk. In particular, sampling can create many spurious local minima. We consider a general framework which aims to optimize a smooth nonconvex function $F$ (population risk) given only access to an approximation $f$ (empirical risk) that is pointwise close to $F$ (i.e., $\|F-f\|_{\infty} \le ν$). Our objective is to find the $ε$-approximate local minima of the underlying function $F$ while avoiding the shallow local minima---arising because of the tolerance $ν$---which exist only in $f$. We propose a simple algorithm based on stochastic gradient descent (SGD) on a smoothed version of $f$ that is guaranteed to achieve our goal as long as $ν\le O(ε^{1.5}/d)$. We also provide an almost matching lower bound showing that our algorithm achieves optimal error tolerance $ν$ among all algorithms making a polynomial number of queries of $f$. As a concrete example, we show that our results can be directly used to give sample complexities for learning a ReLU unit.

研究动机与目标

• 解决由于底层总体风险的抽样噪声导致的经验风险中出现的虚假局部极小值问题。
• 设计一种简单、基于优化的算法，避免依赖SGLD或模拟退火等大噪声机制的浅层局部极小值。
• 确定任何算法仍能找出真实总体风险的 $\epsilon$-近似局部极小值的最优容差 $\nu$。
• 为在非凸、非光滑经验风险最小化中摆脱虚假极小值提供理论保证，且仅需最小噪声。

提出的方法

• 提出经验风险函数的平滑版本，以缓解非光滑性并减少虚假局部极小值。
• 在该平滑化经验风险上应用随机梯度下降（SGD），以间接优化总体风险。
• 采用基于扰动的分析方法，表明以高概率SGD可逃离经验风险中浅层局部极小值附近的区域。
• 利用递归误差界和矩阵扰动理论，控制迭代点与真实总体景观之间的偏差。
• 基于子水平集的体积比提出一种定位论证，以界定陷入虚假极小值的概率。
• 推导出下界，证明 $O(\epsilon^{1.5}/d)$ 容差在所有多项式查询算法中均为最优。

实验结果

研究问题

• RQ1 像SGD这样简单且无噪声的优化算法，是否能在不依赖大噪声注入的情况下，逃离经验风险中的浅层局部极小值？
• RQ2 经验风险中最大的可能误差 $\nu$ 是多少，使得仍能找出真实总体风险的 $\epsilon$-近似局部极小值？
• RQ3 对 $\nu$ 的 $O(\epsilon^{1.5}/d)$ 容差边界是否最优？其他算法能否实现更优的容差？
• RQ4 维度 $d$ 和精度 $\epsilon$ 如何影响优化对抽样引起的虚假极小值的鲁棒性？
• RQ5 该框架是否可推广至抽样之外的应用，例如在鲁棒学习或私有学习中，其中 $\nu$ 代表对抗性扰动？

主要发现

• 所提出的基于平滑化经验风险的SGD算法，以高概率成功找到真实总体风险的 $\epsilon$-近似局部极小值。
• 只要经验风险误差满足 $\nu \leq O(\epsilon^{1.5}/d)$，该算法即被保证有效，且该条件被证明为最优。
• 建立了近乎匹配的下界，证明任何进行多项式次数查询的算法都无法容忍大于 $O(\epsilon^{1.5}/d)$ 的 $\nu$。
• 分析表明，逃离鞍点（或浅层局部极小值）的概率至少为 $1 - 2\sqrt{\delta}$，其中 $\delta$ 控制失败概率。
• 该框架可应用于具体问题，如学习一个ReLU单元，基于 $\nu$-容差权衡提供明确的样本复杂度边界。
• 结果表明，无需大噪声即可逃离浅层局部极小值——在所推导的容差范围内，仅使用平滑化的简单SGD即足够。