[论文解读] An accelerated inexact proximal point method for solving nonconvex-concave min-max problems

Weiwei Kong, Renato D. C. Monteiro|arXiv (Cornell University)|May 31, 2019

Sparse and Compressive Sensing Techniques参考文献 25被引用 16

一句话总结

本文提出了一种加速不精确邻近点平滑（AIPP-S）方法，用于求解非凸-凹型极小极大问题，通过用平滑近似替代非光滑的极大项，再对平滑化问题应用加速不精确邻近点方法。关键贡献在于建立了达到原始-对偶平稳性的迭代复杂度界为𝒪(ρₓ⁻²ρᵧ⁻¹/²)次预言机调用，以及达到方向导数平稳性的复杂度界为𝒪(δ⁻³)，并通过数值结果证明了其高效性。

ABSTRACT

This paper presents smoothing schemes for obtaining approximate stationary points of unconstrained or linearly-constrained composite nonconvex-concave min-max (and hence nonsmooth) problems by applying well-known algorithms to composite smooth approximations of the original problems. More specifically, in the unconstrained (resp. constrained) case, approximate stationary points of the original problem are obtained by applying, to its composite smooth approximation, an accelerated inexact proximal point (resp. quadratic penalty) method presented in a previous paper by the authors. Iteration complexity bounds for both smoothing schemes are also established. Finally, numerical results are given to demonstrate the efficiency of the unconstrained smoothing scheme.

研究动机与目标

• 开发一种平滑化方案，将非光滑、非凸-凹型极小极大问题转化为适合一阶方法求解的平滑近似问题。
• 建立在无约束和线性约束设置下，达到近似原始-对偶平稳点的迭代复杂度界。
• 将加速不精确邻近点方法扩展至通过平滑化和惩罚技术处理复合非凸-凹型问题。
• 为无约束和约束形式的收敛速率提供基于预言机复杂度的理论保证。

提出的方法

• 提出一种平滑化方案，通过扰动对偶形式，用平滑近似替代极小极大问题中的最大项。
• 对平滑化后的复合问题应用加速不精确邻近点（AIPP）方法，利用对∇ₓΦ、h以及近似算子求解的高效预言机访问。
• 采用原始-对偶公式定义(ρₓ, ρᵧ)-平稳性，确保原始变量和对偶变量的次梯度有界。
• 对于约束问题，采用二次惩罚方法处理线性约束，通过平滑近似逼近惩罚子问题。
• 通过分析平滑参数、惩罚参数与近似子问题求解精度之间的相互作用，推导复杂度界。
• 依赖于确保Φ(·,y) + m‖·‖²/2为凸且其梯度满足Lipschitz连续性的假设，从而实现平滑近似。

实验结果

研究问题

• RQ1 能否将加速不精确邻近点方法适配于通过平滑化求解非凸-凹型极小极大问题？
• RQ2 在无约束情况下，达到(ρₓ, ρᵧ)-原始-对偶平稳性的迭代复杂度是多少？
• RQ3 如何利用方向导数条件定义一种复杂度界更优的弱平稳性概念？
• RQ4 能否将二次惩罚方法与平滑化及AIPP结合，用于求解线性约束的非凸-凹型问题？
• RQ5 为实现约束平稳性，所得QP-AIPP-S方案的预言机复杂度是多少？

主要发现

• AIPP-S方法在无约束问题中以𝒪(ρₓ⁻²ρᵧ⁻¹/²)次预言机调用达到(ρₓ, ρᵧ)-原始-对偶平稳性。
• 一种替代的AIPP-S变体可在𝒪(δ⁻³)次预言机调用内计算出一点x，使得inf‖d‖≤1 p′(x;d) ≥ -δ且‖x - x̂‖ ≤ δ。
• 对于线性约束问题，QP-AIPP-S方法在𝒪(ρₓ⁻²ρᵧ⁻¹/²η⁻1)次预言机调用内计算出满足平稳性条件的五元组。
• 该方法通过平滑近似与强凸性，建立了方向导数平稳性与近似平稳性之间的联系。
• 数值结果证实了无约束平滑化方案在实际中的高效性。
• 理论分析表明，在Φ和h满足适当的正则性条件时，平滑化可保持AIPP方法的收敛性质。