[论文解读] Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs

Weiwei Kong, Jefferson G. Melo+1 more|arXiv (Cornell University)|Feb 10, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用 8

一句话总结

该论文提出了一种用于求解线性约束非凸复合规划的二次惩罚加速不精确邻近点（QP-AIPP）方法，将加速不精确邻近点方案与ACG方法结合以求解惩罚子问题。在较弱假设下（包括最优值有限，但无需有界定义域或最优解存在性），该方法建立了生成满足 $\|\hat{v}\| \leq \hat{\rho}$ 和 $\|A\hat{z} - b\| \leq \hat{\eta}$ 的三元组 $(\hat{z}, \hat{v}, \hat{p})$ 的迭代复杂度界 $\mathcal{O}(\hat{\rho}^{-2}\hat{\eta}^{-1})$。

ABSTRACT

This paper analyzes the iteration-complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs. More specifically, the objective function is of the form $f + h$ where $f$ is a differentiable function whose gradient is Lipschitz continuous and $h$ is a closed convex function with bounded domain. The method, basically, consists of applying an accelerated inexact proximal point method for solving approximately a sequence of quadratic penalized subproblems associated to the linearly constrained problem. Each subproblem of the proximal point method is in turn approximately solved by an accelerated composite gradient (ACG) method. It is shown that the proposed scheme generates a $ρ$-approximate stationary point in at most ${\cal{O}}(ρ^{-3})$ ACG iterations. Finally, numerical results showing the efficiency of the proposed method are also given.

研究动机与目标

• 开发一种首阶方法，以改进求解线性约束非凸复合规划的迭代复杂度，其中目标函数为 $f + h$，$f$ 可微且 $L_f$-Lipschitz，$h$ 为闭凸函数。
• 通过结合二次惩罚方法与不精确邻近点方案，应对求解具有线性约束的非凸问题的挑战。
• 通过利用曲率信息并使用加速不精确邻近点（AIPP）方法求解子问题，实现优于标准加速梯度方法的复杂度。
• 建立依赖于 $\hat{\rho}$ 和 $\hat{\eta}$ 的迭代复杂度界，分别表示平稳性与可行性容差，且无需有界定义域或最优解存在性假设。

提出的方法

• 该方法采用二次惩罚方法，将原始问题转化为一系列形式为 $\min_z f(z) + h(z) + \frac{c}{2}\|Az - b\|^2$ 的惩罚子问题。
• 每个惩罚子问题通过加速不精确邻近点（AIPP）方法近似求解，该方法通过迭代最小化惩罚函数的邻近逼近来实现。
• AIPP 方法通过加速复合梯度（ACG）方法求解形式为 $\min_z f(z) + h(z) + \frac{c}{2}\|Az - b\|^2 + \frac{1}{2\lambda}\|z - z_{k-1}\|^2$ 的子问题。
• 惩罚参数 $c$ 自适应增加，直至满足可行性容差 $\|Az - b\| \leq \hat{\eta}$，从而确保收敛至 $\hat{\rho}$-近似平稳点。
• AIPP 方法利用目标函数的下界曲率 $m$，实现复杂度界 $\mathcal{O}(\sqrt{M/m} \cdot \min\{\phi(z_0) - \phi_*, m d_0^2\} / \rho^2 + \sqrt{M/m} \log^+(M/m))$，相比标准ACG方法提升 $\sqrt{M/m}$ 倍。
• 该方法设计在最小假设下运行：原始问题的最优值有限，但 $\text{dom}\,h$ 无需有界，且最优解无需存在。

实验结果

研究问题

• RQ1 将二次惩罚方法与加速不精确邻近点方案结合求解线性约束非凸复合规划时，其迭代复杂度是多少？
• RQ2 使用 AIPP 方法求解惩罚子问题相比标准 ACG 方法如何改善复杂度？
• RQ3 该方法能否在不依赖定义域大小或最优解存在性的情况下，实现 $\hat{\rho}$-近似平稳点与 $\hat{\eta}$-可行解？
• RQ4 复杂度界对惩罚参数 $c$、Lipschitz 常数 $M$ 和惩罚目标函数的下界曲率 $m$ 的依赖关系如何？
• RQ5 该方法如何确保最终迭代点同时满足平稳性与可行性容差？

主要发现

• QP-AIPP 方法在最多 $\mathcal{O}(\hat{\rho}^{-2}\hat{\eta}^{-1})$ 次加速复合梯度（ACG）迭代内生成 $\rho$-近似平稳点与 $\eta$-可行解。
• 该方法在较弱假设下实现此复杂度界：原始问题的最优值有限，无需有界定义域或最优解存在性假设。
• AIPP 子问题求解器通过利用下界曲率 $m$，将对 Lipschitz 常数 $M$ 的依赖从 $\mathcal{O}(M)$ 降低至 $\mathcal{O}(\sqrt{M})$，优于标准 ACG。
• AIPP 方法的迭代复杂度界为 $\mathcal{O}\left(\frac{\sqrt{Mm}}{\rho^2}\min\{\phi(z_0) - \phi_*, m d_0^2\} + \sqrt{\frac{M}{m}}\log^+\left(\frac{M}{m}\right)\right)$，相比标准 ACG 提升 $\sqrt{M/m}$ 倍。
• 数值结果验证了该方法的高效性，证实其理论复杂度界在实践中成立。
• 该方法确保最终迭代点同时满足 $\|\hat{v}\| \leq \hat{\rho}$ 与 $\|A\hat{z} - b\| \leq \hat{\eta}$，并通过自适应增加惩罚参数 $c$ 以满足可行性要求。