[论文解读] Block Coordinate Descent Only Converge to Minimizers

Enbin Song, Zhubin Shen+1 more|arXiv (Cornell University)|Oct 25, 2017

Stochastic Gradient Optimization Techniques参考文献 18被引用 3

一句话总结

该论文证明了在随机初始化下，块坐标梯度下降、块镜像下降和近端块坐标下降即使在具有非孤立临界点的非凸函数中，也能以概率几乎为1收敛到局部极小值。该结果通过利用拓扑论证和复分析扩展了先前关于梯度下降的工作，证明了尽管存在鞍点和非唯一临界点，算法仍能收敛。

ABSTRACT

Given a non-convex twice continuously differentiable cost function with Lipschitz continuous gradient, we prove that all of block coordinate gradient descent, block mirror descent and proximal block coordinate descent converge to a local minimizer, almost surely with random initialization. Furthermore, we show that these results also hold true even for the cost functions with non-isolated critical points.

研究动机与目标

• 在较弱的光滑性条件下，建立块坐标下降变体在非凸优化中收敛到局部极小值的理论。
• 解决Lee等人（2016）提出的开放问题：块坐标方法是否能避开鞍点。
• 将几乎必然收敛结果推广到非孤立临界点，推广Panageas和Piliouras（2016）的先前工作。
• 提供一种确定性分析，无需依赖各向同性噪声，与先前的随机方法形成对比。
• 统一三种主要块坐标框架（梯度、镜像和近端下降）的收敛性保证。

提出的方法

• 利用链式法则和逐块可微性，证明每种块坐标方法的迭代映射为微分同胚。
• 通过特征值分解和块矩阵运算，将临界点处迭代映射的雅可比矩阵转化为简化形式。
• 应用复分析中的Rouché定理，证明在鞍点处雅可比矩阵至少有一个特征值的模严格大于1。
• 利用镜像和近端方法中势函数的强凸性，确保梯度映射为微分同胚。
• 在代价函数为二阶连续可微且梯度Lipschitz连续的假设下，建立收敛到局部极小值的结论。
• 通过利用R^n中开覆盖的可数覆盖性质，处理非孤立临界点，从而推广先前结果。

实验结果

研究问题

• RQ1 在非凸设置下，块坐标下降方法在随机初始化下是否以概率几乎为1收敛到局部极小值？
• RQ2 该收敛保证能否推广到具有非孤立临界点的函数？
• RQ3 块镜像下降和近端块坐标下降是否也能避开鞍点并收敛到局部极小值？
• RQ4 确定性块坐标方法能否在不依赖各向同性噪声的情况下实现几乎必然收敛到极小值？
• RQ5 在鞍点处，块更新映射的雅可比矩阵是否保证至少有一个特征值的模大于1，从而确保非极小值点的不稳定性？

主要发现

• 三种块坐标方法——梯度、镜像和近端——在随机初始化下几乎必然收敛到局部极小值。
• 即使代价函数具有非孤立临界点，该收敛结果依然成立，推广了此前要求临界点孤立的结论。
• 在鞍点处，迭代映射的雅可比矩阵至少有一个特征值的模严格大于1，确保了非极小值点的不稳定性。
• 证明依赖于将雅可比矩阵转化为块矩阵形式，并应用Rouché定理分析特征值模的大小。
• 由于强凸性，镜像和近端方法中的梯度映射是微分同胚，确保了光滑可逆性。
• 该分析避免了随机噪声假设，适用于固定步长，使结果可直接应用于标准实现。