[论文解读] Alternating minimization and alternating descent over nonconvex sets

Wooseok Ha, Rina Foygel Barber|arXiv (Cornell University)|Sep 13, 2017

Sparse and Compressive Sensing Techniques参考文献 30被引用 8

一句话总结

本文通过引入局部强凹系数来处理非凸约束，建立了在非凸集上交替最小化与交替下降的线性收敛性。证明了在受限强凸性、受限光滑性及有界局部强凹性的条件下，当初始化靠近解时，精确与非精确变体均实现线性收敛，为低秩加稀疏分解和多任务回归等结构化高维问题中的交替方法提供了理论依据。

ABSTRACT

We analyze the performance of alternating minimization for loss functions optimized over two variables, where each variable may be restricted to lie in some potentially nonconvex constraint set. This type of setting arises naturally in high-dimensional statistics and signal processing, where the variables often reflect different structures or components within the signals being considered. Our analysis relies on the notion of local concavity coefficients, which has been proposed in Barber and Ha to measure and quantify the concavity of a general nonconvex set. Our results further reveal important distinctions between alternating and non-alternating methods. Since computing the alternating minimization steps may not be tractable for some problems, we also consider an inexact version of the algorithm and provide a set of sufficient conditions to ensure fast convergence of the inexact algorithms. We demonstrate our framework on several examples, including low rank + sparse decomposition and multitask regression, and provide numerical experiments to validate our theoretical results.

研究动机与目标

• 分析具有结构化约束的非凸优化问题中交替最小化的收敛性。
• 建立交替方法在非凸设置下优于非交替方法的条件。
• 将收敛性保证扩展至最小化步骤被近似的非精确算法。
• 为高维统计中的非凸结构化估计问题提供理论框架。
• 通过低秩加稀疏分解与多任务回归中的应用验证理论。

提出的方法

• 使用局部强凹系数量化约束集的非凸性，将凸性推广至非凸分析。
• 在损失函数上应用受限强凸性（RSC）与受限光滑性（RSM），以确保有利的曲率性质。
• 引入松弛的三角不等式以界定非精确交替步骤中的误差。
• 推导出在x与y变量中到真实解距离的压缩不等式。
• 在初始化靠近解的条件下，建立精确交替最小化的线性收敛性。
• 通过局部强凹性与RSC/RSM界定向次优性与步长误差，将结果扩展至非精确算法。

实验结果

研究问题

• RQ1 在优化非凸集时，交替最小化在何种条件下实现线性收敛？
• RQ2 非凸集的局部强凹系数如何影响交替方法的收敛性？
• RQ3 在有界误差假设下，使用梯度步长的非精确交替下降是否仍能实现线性收敛？
• RQ4 在非凸设置下，交替方法相比联合优化有何理论优势？
• RQ5 RSC与RSM条件如何与非凸约束相互作用以确保收敛？

主要发现

• 当初始化足够接近真实解时，精确交替最小化可实现线性收敛。
• 收敛速率取决于局部强凹系数与损失函数的RSC/RSM参数。
• 对于非精确算法，收敛速率在子最优性与步长误差的常数因子范围内保持不变。
• 由于交替变量空间中条件更优，该方法优于非交替方法。
• 数值实验在低秩加稀疏分解与多任务回归中确认了线性收敛性。
• 该框架适用于非凸约束（如低秩矩阵），其虽非凸但满足有界局部强凹性。