[论文解读] A general inertial proximal point method for mixed variational inequality problem

Caihua Chen, Shiqian Ma+1 more|arXiv (Cornell University)|Jul 30, 2014

Optimization and Variational Analysis参考文献 40被引用 8

一句话总结

本文提出了一种通用的惯性邻近点法，用于求解混合变分不等式问题，在较弱条件下建立了全局收敛性和 o(1/k) 的收敛速率。结果表明，线性化 ADMM 是该框架的特例，从而为非ergodic和ergodic两种情形下的线性化 ADMM 提供了全局收敛性和 O(1/k) 的收敛速率，并提出了一种改进实际性能的线性化 ADMM 惯性变体。

ABSTRACT

In this paper, we first propose a general inertial proximal point method for the mixed variational inequality (VI) problem. Based on our knowledge, without stronger assumptions, convergence rate result is not known in the literature for inertial type proximal point methods. Under certain conditions, we are able to establish the global convergence and a $o(1/k)$ convergence rate result (under certain measure) of the proposed general inertial proximal point method. We then show that the linearized alternating direction method of multipliers (ADMM) for separable convex optimization with linear constraints is an application of a general proximal point method, provided that the algorithmic parameters are properly chosen. As byproducts of this finding, we establish global convergence and $O(1/k)$ convergence rate results of the linearized ADMM in both ergodic and nonergodic sense. In particular, by applying the proposed inertial proximal point method for mixed VI to linearly constrained separable convex optimization, we obtain an inertial version of the linearized ADMM for which the global convergence is guaranteed. We also demonstrate the effect of the inertial extrapolation step via experimental results on the compressive principal component pursuit problem.

研究动机与目标

• 开发一种适用于混合变分不等式问题的通用惯性邻近点法，其假设条件弱于以往工作。
• 在最小单调性和矩阵条件下，建立所提惯性 PPA 的全局收敛性和收敛速率结果。
• 证明在适当参数选择下，带线性约束的可分凸优化问题的线性化 ADMM 是该通用邻近点法的一个实例。
• 为线性化 ADMM 在 ergodic 和非ergodic 两种意义下建立全局收敛性和 O(1/k) 的收敛速率结果。
• 提出一种惯性线性化 ADMM（iLADMM）的变体，并通过实验验证其在压缩主成分追踪问题上的效率提升。

提出的方法

• 该方法使用一个权重矩阵 G 和参数序列 αk 进行惯性外推步骤，推广了标准的邻近点法。
• 将混合 VI 问题表述为涉及极大单调算子 T 的单调包含问题，通过预解算子和类预解算子映射分析收敛性。
• 算法采用广义邻近点更新：w^{k+1} = argmin_w { F(w) + (1/(2λ)) ||w - (w^k + α_k(w^k - w^{k-1}))||_G^2 }。
• 收敛性分析依赖于 F 的 H-单调性以及 G 在 H 的零空间上的正定性，避免了对 G 的严格正定性要求。
• 通过证明其更新步骤对应于特定参数选择下的通用惯性 PPA 实例，建立了与线性化 ADMM 的联系。
• 通过将惯性 PPA 应用于带线性约束的可分凸问题的原-对偶最优性条件，推导出一种惯性 LADMM 变体。

实验结果

研究问题

• RQ1 能否为混合变分不等式问题开发一种通用的惯性邻近点法，其假设条件弱于现有惯性 PPA 方法？
• RQ2 在不强制要求 G 为正定矩阵的条件下，能否为这种通用惯性 PPA 建立全局收敛性和收敛速率的保证？
• RQ3 带线性约束的可分凸优化问题的线性化 ADMM 是否是所提通用惯性 PPA 框架的一个特例？
• RQ4 所提框架能否为线性化 ADMM 在 ergodic 和非ergodic 两种意义下均提供全局收敛性和 O(1/k) 的收敛速率？
• RQ5 所提的惯性 LADMM 变体在实际中是否优于标准 LADMM？其性能对外推参数 αk 的选择是否敏感？

主要发现

• 所提惯性 PPA 在弱于以往工作的条件下实现了全局收敛性和 o(1/k) 的收敛速率，仅需 G 在 H 的零空间上正定。
• 当算法参数选择适当时，正式证明了线性化 ADMM 是通用惯性 PPA 的一个实例。
• 因此，为线性化 ADMM 在 ergodic 和非ergodic 两种意义下均建立了全局收敛性和 O(1/k) 的收敛速率。
• 提出了一种 LADMM 的惯性版本（iLADMM），其继承了全局收敛性，并通过实验表明在压缩主成分追踪问题上比标准 LADMM 更快。
• 实验结果表明，当 αk ≈ 0.3 时 iLADMM 表现最佳，且当 αk > 0.3 时性能下降，尤其在 q/dof 较小时更为明显。
• 外推参数 αk 在保持常数且接近 0.3 时效果最佳，提示了实际实现中的实用指导原则。