[论文解读] A Penalty-free Infeasible Approach for a Class of Nonsmooth Optimization Problems over the Stiefel Manifold

Nachuan Xiao, Xin Liu+1 more|arXiv (Cornell University)|Mar 5, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文提出了一种无惩罚项的不可行优化方法——顺序线性化近邻梯度法（SLPG），用于在Stiefel流形上求解非光滑问题。SLPG通过交替进行切向步骤（近似、无需正交化）和法向步骤（利用泰勒展开提升可行性），避免了惩罚参数，对光滑及ℓ₂,₁-正则化问题实现了高效率与全局收敛。

ABSTRACT

Transforming into an exact penalty function model with convex compact constraints yields efficient infeasible approaches for optimization problems with orthogonality constraints. For smooth and $\ell_{2,1}$-norm regularized cases, these infeasible approaches adopt simple and orthonormalization-free updating scheme and show their high efficiency in the test examples. However, to avoid orthonormalization while enforcing the feasibility of the final solution, these infeasible approaches introduce a quadratic penalty term, where an inappropriate penalty parameter can lead to numerical inefficiency. Inspired by penalty-free approaches for smooth optimization problems, we proposed a proximal first-order algorithm for a class of optimization problems with orthogonality constraints and nonsmooth regularization term. The consequent algorithm, named sequential linearized proximal gradient method (SLPG), alternatively takes tangential steps and normal steps to improve the optimality and feasibility respectively. In SLPG, the orthonormalization process is invoked only once at the last step if high precision in feasibility is needed, showing that main iterations in SLPG are orthonormalization-free. Besides, both the tangential steps and normal steps do not involve the penalty parameter, and thus SLPG is penalty-free and avoids the inefficiency by inappropriate penalty parameter. We analyze the global convergence properties of SLPG where the tangential steps are inexactly computed. By inexactly computing tangential steps, for smooth cases and $\ell_{2,1}$-norm regularized cases, SLPG has a closed-form updating scheme, which leads to its cheap tangential steps. Numerical experiments illustrate the numerical advantages of SLPG when compared with existing first-order methods.

研究动机与目标

• 解决基于惩罚项的不可行方法在Stiefel流形上非光滑优化中的低效问题，该问题对惩罚参数选择敏感。
• 开发一种可扩展的不可行框架，在主迭代过程中避免正交化，同时确保最终可行性。
• 为包含非光滑正则化与正交性约束的一类复合优化问题建立全局收敛性。
• 为稀疏PCA和高维数据下的Kohn-Sham能量最小化等问题提供计算高效的求解方法。
• 在保持可行性的同时，实现无需正交化的迭代，通过受极分解启发的法向步骤实现。

提出的方法

• 提出一种顺序线性化近邻梯度（SLPG）方法，通过交替使用切向步骤与法向步骤，分别提升最优性与可行性。
• 在仿射子空间中求解线性化近邻子问题以计算切向步骤，当迭代点可行时，该问题退化为切空间子问题。
• 在目标函数光滑或ℓ₂,₁-正则化时，采用定点迭代或直接闭式解法求解切向步骤，实现低成本计算。
• 通过极分解的一阶泰勒展开近似正交化过程，实现法向步骤。
• 仅在最终迭代中执行一次正交化操作，以实现高精度可行性，确保主迭代过程无需正交化。
• 通过解耦最优性与可行性改进，完全消除惩罚参数，避免因惩罚参数选择不当导致的数值不稳定性。

实验结果

研究问题

• RQ1 无惩罚项的不可行方法能否在Stiefel流形上实现非光滑优化的全局收敛？
• RQ2 如何设计切向与法向步骤，以在不依赖惩罚项的前提下独立提升最优性与可行性？
• RQ3 与现有的一阶方法相比，无正交化迭代方法在大规模问题上的计算效率如何？
• RQ4 在光滑与ℓ₂,₁-正则化情况下，能否为切向子问题推导出闭式或低成本解法？
• RQ5 所提出方法在稀疏PCA与Kohn-Sham能量最小化等多样化应用中是否保持鲁棒性能？

主要发现

• 在问题结构的统一假设下，即使切向步骤为近似计算，SLPG仍能实现全局收敛。
• 对于光滑及ℓ₂,₁-正则化情形，SLPG可提供闭式或计算成本低廉的切向更新，实现高效迭代。
• 数值实验表明，SLPG在各类测试用例中均优于现有的一阶方法（如ManOptQR、PenCF、PCAL、OptM），在CPU时间和迭代次数上表现更优。
• 在alanine数据集上（n=12671, p=18），SLPG仅需73次迭代与21.27秒，优于PenCF（83次迭代，24.10秒）与PCAL（97次迭代，30.56秒）。
• 在大型pentacene数据集上（n=44791, p=51），SLPG使用113次迭代与308.88秒，显著快于ManOptQR（1000次迭代，425.62秒），且与PenCF（109次迭代，301.13秒）相当。
• 所有测试案例中，SLPG的可行性违反度均低于1e-15，最终迭代点通过一次最终正交化实现高精度可行性。