[论文解读] Convergence of block coordinate descent with diminishing radius for nonconvex optimization

Hanbaek Lyu|arXiv (Cornell University)|Dec 7, 2020

Tensor decomposition and applications参考文献 41被引用 5

一句话总结

该论文提出一种带有递减半径约束的块坐标下降（BCD）方法，用于保证非凸、分块凸且可微优化问题的收敛性，可收敛至驻点。通过限制在不断缩小的半径范围内搜索以增强迭代点的稳定性，该方法在最佳情况下实现了 $\log n / \sqrt{n}$ 的收敛速率，该结果在非负CP张量分解的改进交替最小二乘算法中得到验证。

ABSTRACT

Block coordinate descent (BCD), also known as nonlinear Gauss-Seidel, is a simple iterative algorithm for nonconvex optimization that sequentially minimizes the objective function in each block coordinate while the other coordinates are held fixed. We propose a version of BCD that is guaranteed to converge to the stationary points of block-wise convex and differentiable objective functions under constraints. Furthermore, we obtain a best-case rate of convergence of order $\log n/\sqrt{n}$, where $n$ denotes the number of iterations. A key idea is to restrict the parameter search within a diminishing radius to promote stability of iterates, and then to show that such auxiliary constraints vanish in the limit. As an application, we provide a modified alternating least squares algorithm for nonnegative CP tensor factorization that converges to the stationary points of the reconstruction error with the same bound on the best-case rate of convergence. We also experimentally validate our results with both synthetic and real-world data.

研究动机与目标

• 解决标准块坐标下降在非凸问题中缺乏收敛性保证的问题。
• 通过半径约束搜索提升非凸优化中迭代点的稳定性。
• 在较弱假设下建立块坐标下降的可证明收敛速率。
• 将该方法扩展至实际应用，如非负CP张量分解。
• 提供理论收敛界，且在最佳情况下为紧致界。

提出的方法

• 提出一种块坐标下降变体，将每次更新限制在当前迭代点周围不断减小的半径内。
• 引入辅助约束以在优化过程中稳定迭代点，且随着半径缩小，这些约束在极限下消失。
• 在非凸、分块凸且可微的目标函数下，应用该方法于带约束的优化问题。
• 通过利用递减半径控制迭代点，推导出收敛至驻点的结论。
• 将该方法改进为用于非负CP张量分解的改进交替最小二乘算法。
• 通过理论分析，建立最佳情况下 $\log n / \sqrt{n}$ 的收敛速率。

实验结果

研究问题

• RQ1 在非凸、分块凸且可微问题中，带有半径约束的块坐标下降能否收敛至驻点？
• RQ2 在该约束BCD框架下，可保证的收敛速率是多少？
• RQ3 递减半径机制如何增强稳定性与收敛性？
• RQ4 该方法能否有效应用于非负CP张量分解？
• RQ5 辅助半径约束在极限下是否消失而不影响收敛性？

主要发现

• 所提出的带有递减半径的BCD方法可收敛至非凸、分块凸且可微目标函数的驻点。
• 最佳情况下的收敛速率为 $\log n / \sqrt{n}$，其中 $n$ 为迭代次数。
• 半径约束在优化过程中稳定了迭代点，并在渐近意义下消失，确保极限下无偏差。
• 该方法成功应用于非负CP张量分解，确保收敛至重构误差的驻点。
• 在合成数据与真实世界数据上的实验结果验证了理论收敛性与速率边界的正确性。
• 该理论框架为非凸设置下稳定且收敛的BCD提供了基础，具有实际应用意义。