[论文解读] From Symmetry to Geometry: Tractable Nonconvex Problems

Yuqian Zhang, Qing Qu+1 more|arXiv (Cornell University)|Jul 14, 2020

Sparse and Compressive Sensing Techniques参考文献 158被引用 27

一句话总结

本文识别出一类具有对称性诱导几何结构的非凸优化问题，其中局部极小值是全局解的对称副本，鞍点表现出负曲率。通过利用这种结构，基于梯度的方法能高效收敛至全局解，为在相位恢复和字典学习等问题中简单算法的经验成功提供了理论依据。

ABSTRACT

As science and engineering have become increasingly data-driven, the role of optimization has expanded to touch almost every stage of the data analysis pipeline, from signal and data acquisition to modeling and prediction. The optimization problems encountered in practice are often nonconvex. While challenges vary from problem to problem, one common source of nonconvexity is nonlinearity in the data or measurement model. Nonlinear models often exhibit symmetries, creating complicated, nonconvex objective landscapes, with multiple equivalent solutions. Nevertheless, simple methods (e.g., gradient descent) often perform surprisingly well in practice. The goal of this survey is to highlight a class of tractable nonconvex problems, which can be understood through the lens of symmetries. These problems exhibit a characteristic geometric structure: local minimizers are symmetric copies of a single "ground truth" solution, while other critical points occur at balanced superpositions of symmetric copies of the ground truth, and exhibit negative curvature in directions that break the symmetry. This structure enables efficient methods to obtain global minimizers. We discuss examples of this phenomenon arising from a wide range of problems in imaging, signal processing, and data analysis. We highlight the key role of symmetry in shaping the objective landscape and discuss the different roles of rotational and discrete symmetries. This area is rich with observed phenomena and open problems; we close by highlighting directions for future research.

研究动机与目标

• 解释为何在信号处理和数据分析中出现的非凸问题里，诸如梯度下降等简单优化方法通常能成功。
• 识别出一类具有潜在对称性的非凸问题，该对称性导致目标函数景观中出现有利的几何特性。
• 证明局部极小值即为全局极小值，且鞍点具有严格的负曲率，从而实现高效的全局优化。
• 将相位恢复和字典学习等不同问题统一于基于对称性的共同几何框架下。
• 突出当前在处理复合对称性、非光滑性以及对称非凸优化中的可扩展性方面存在的开放挑战。

提出的方法

• 分析具有旋转或离散对称性的非凸问题的优化景观，表明临界点围绕真实解的对称副本结构化排列。
• 识别出鞍点对应于对称解的平衡叠加，并在对称性破缺方向上表现出负曲率。
• 利用微分几何和对称性群论工具，刻画临界点处的海森矩阵与曲率。
• 证明随机初始化的梯度下降由于景观中负曲率方向的一致性，能高效逃离鞍点。
• 应用二阶方法（如信赖域法、立方正则化）以利用负曲率，在高维设置中实现更快收敛。
• 提出对称问题的良性几何结构使得一阶方法能够实现全局收敛，这与最坏情况下的严格鞍函数形成鲜明对比。

实验结果

研究问题

• RQ1 为何基于梯度的方法在相位恢复和字典学习等非凸问题中通常能收敛到全局解？
• RQ2 对称非凸问题有利优化景观的几何结构是什么？
• RQ3 旋转对称性和离散对称性如何塑造非凸目标函数的临界点结构？
• RQ4 能否系统性地利用鞍点处的负曲率，以确保对称问题中的全局收敛？
• RQ5 当前方法在处理对称非凸优化中的复合对称性和非光滑形式时存在哪些局限性？

主要发现

• 在对称非凸问题中，所有局部极小值均为全局极小值，对应于真实解的对称副本。
• 鞍点在破坏对称性的方向上表现出严格的负曲率，从而可通过梯度下降高效逃离。
• 对于广义相位恢复和字典学习等问题，随机初始化的梯度下降可在多项式时间内收敛至全局极小值。
• 该几何结构确保了鞍点间负曲率方向的一致性，避免了通用严格鞍函数中可能出现的指数级收敛时间。
• 诸如信赖域法和立方正则化等二阶方法可高效利用负曲率，在高维设置中实现更快收敛。
• 对称问题的良性几何结构与最坏情况下的非凸函数形成鲜明对比，后者可能导致梯度下降因曲率方向错位而出现指数级收敛时间。