[论文解读] Alternating minimization and projection methods for nonconvex problems

Hédy Attouch, Jérôme Bolte+2 more|arXiv (Cornell University)|Jan 11, 2008

Sparse and Compressive Sensing Techniques参考文献 19被引用 6

一句话总结

本文提出并分析了一种用于非凸优化问题的交替最小化算法，其形式为 L(x,y) = f(x) + Q(x,y) + g(y)，其中 f 和 g 为下半连续函数，Q 为光滑函数。在较弱条件下，该算法可收敛至临界点，将邻近方法扩展至非凸设置，并对迭代序列和目标函数值提供了理论保证。

ABSTRACT

Abstract We study the convergence properties of alternating proximal minimization algorithms for (nonconvex) functions of the following type: L(x,y) = f(x) + Q(x,y) + g(y) where f: R n → R∪{+∞} and g: R m → R∪{+∞} are proper lower semicontinuous functions and Q: R n ×R m → R is a smooth C 1 (finite valued) function which couples the variables x and y. The algorithm is defined by: (x0, y0) ∈ R n × R m given, (xk, yk) → (xk+1, yk) → (xk+1, yk+1)

研究动机与目标

• 开发并分析一种用于涉及耦合变量的非凸优化问题的交替邻近最小化算法。
• 在较弱假设下，建立迭代序列和目标函数值收敛至临界点的理论。
• 将邻近方法从凸设置扩展至具有光滑耦合项的非凸函数，保持收敛性保证。
• 为机器学习和信号处理中出现的一类非凸问题提供理论收敛保证。

提出的方法

• 该算法在固定 y 时交替最小化 L(x,y) 关于 x，然后在固定 x 时最小化关于 y。
• 对 f(x) 和 g(y) 使用类似邻近的更新，每一步中引入光滑耦合项 Q(x,y)。
• 该方法通过两步迭代定义：(x^k, y^k) → (x^{k+1}, y^k) → (x^{k+1}, y^{k+1})
• 利用 Kurydka–Łojasiewicz (KL) 不等式，结合 f 和 g 的下半连续性，分析收敛性。
• Q 的光滑性确保梯度有定义，并促进下降行为的分析。
• 在 f、g 和 Q 的标准假设下，为算法生成的序列建立了理论收敛性。

实验结果

研究问题

• RQ1 对于形式为 L(x,y) = f(x) + Q(x,y) + g(y) 的非凸问题，交替最小化算法是否收敛至临界点？
• RQ2 f、g 和 Q 的哪些条件可确保迭代序列和目标函数值的收敛？
• RQ3 能否将邻近方法扩展至具有光滑耦合项的非凸问题，同时保持收敛性保证？
• RQ4 Kurdyka–Łojasiewicz 不等式如何在该非凸设置中支持收敛性分析？
• RQ5 算法生成的迭代序列中目标函数值序列的行为如何？

主要发现

• 在 f、g 和 Q 的较弱假设下，该算法可收敛至非凸函数 L(x,y) 的临界点。
• 目标函数值序列 {L(x^k, y^k)} 是非增的，并收敛至有限极限。
• 若满足 Kurdyka–Łojasiewicz 不等式，则迭代序列 (x^k, y^k) 收敛至 L 的临界点。
• 收敛性分析无需 f 或 g 的凸性，仅需下半连续性和适当性条件。
• Q 的光滑性确保基于梯度的更新有定义，并有助于实现下降行为。
• 该分析适用于广泛的一类非凸问题，包括机器学习和信号处理中的问题。