[論文レビュー] A general inertial proximal point method for mixed variational inequality problem

Caihua Chen, Shiqian Ma+1 more|arXiv (Cornell University)|Jul 30, 2014

Optimization and Variational Analysis参考文献 40被引用数 8

ひとこと要約

本稿は、混合変分不等式問題を解く一般化された慣性的近接点法を提案し、弱い条件下でもグローバル収束性と o(1/k) 収束速度を確立する。線形化されたADMMがこのフレームワークの特殊ケースであることを示し、収束性とO(1/k)収束速度が、収束の平均化・非平均化の両設定において保証されることを示す。さらに、実用的性能が向上する慣性的バージョンのLADMMを導入する。

ABSTRACT

In this paper, we first propose a general inertial proximal point method for the mixed variational inequality (VI) problem. Based on our knowledge, without stronger assumptions, convergence rate result is not known in the literature for inertial type proximal point methods. Under certain conditions, we are able to establish the global convergence and a $o(1/k)$ convergence rate result (under certain measure) of the proposed general inertial proximal point method. We then show that the linearized alternating direction method of multipliers (ADMM) for separable convex optimization with linear constraints is an application of a general proximal point method, provided that the algorithmic parameters are properly chosen. As byproducts of this finding, we establish global convergence and $O(1/k)$ convergence rate results of the linearized ADMM in both ergodic and nonergodic sense. In particular, by applying the proposed inertial proximal point method for mixed VI to linearly constrained separable convex optimization, we obtain an inertial version of the linearized ADMM for which the global convergence is guaranteed. We also demonstrate the effect of the inertial extrapolation step via experimental results on the compressive principal component pursuit problem.

研究の動機と目的

• 先行研究よりも弱い仮定で動作する、混合変分不等式問題の一般化された慣性的近接点法の開発。
• 最小限の単調性および行列条件のもとで、提案された慣性的PPAのグローバル収束性と収束速度を確立すること。
• 線形制約付き分離可能な凸最適化問題に対する線形化ADMMが、適切なパラメータ選択のもとで、一般近接点法の特殊ケースであることを示すこと。
• 収束の平均化・非平均化の両意味で、線形化ADMMのグローバル収束性とO(1/k)収束速度を確立すること。
• 効率性の向上を目的とした、線形化ADMMの慣性的バージョン（iLADMM）を提案し、圧縮主成分追求問題における実験的妥当性を検証すること。

提案手法

• 本手法は、重み行列Gとパラメータ列αkを用いた慣性的外挿ステップを採用し、標準的な近接点法を一般化する。
• 混合VI問題を、最大単調作用素Tを含む単調包含問題として定式化し、解の収束性はリゾルベントおよび類似リゾルベント写像を用いて分析する。
• 一般化された近接点更新を用いる：w^{k+1} = argmin_w { F(w) + (1/(2λ)) ||w - (w^k + α_k(w^k - w^{k-1}))||_G^2 }。
• 収束解析は、FのH-単調性およびHの核上でのGの正定値性に依拠し、Gが厳密に正定値である必要はないとする。
• 適切なパrameter選択のもとで、線形化ADMMの更新ステップが、一般化された慣性的PPAの特定のインスタンスに一致することを示し、その関係を確立する。
• 線形制約付き分離可能な凸問題の原双対最適性条件に、慣性的PPAを適用することで、慣性的LADMMの変種を導出する。

実験結果

リサーチクエスチョン

• RQ1 既存の慣性的PPA手法よりも弱い仮定で動作する、混合変分不等式問題の一般化された慣性的近接点法を構築できるか？
• RQ2 Gが正定値である必要がない条件下で、このような一般化された慣性的PPAのグローバル収束性と収束速度を保証できるか？
• RQ3 線形制約付き分離可能な凸最適化問題に対する線形化ADMMは、提案された一般化された慣性的PPAフレームワークの特殊ケースであるか？
• RQ4 提案されたフレームワークにより、収束の平均化・非平均化の両意味で、線形化ADMMのグローバル収束性とO(1/k)収束速度を導出できるか？
• RQ5 慣性的LADMM（iLADMM）は実用的に標準LADMMを上回る性能を示すか？また、外挿パラメータαkの選択にどれほど感度を示すか？

主な発見

• 提案された慣性的PPAは、GがHの核上でのみ正定値であれば十分であるというより弱い条件下でも、グローバル収束性とo(1/k)収束速度を達成する。
• 適切なアルゴリズム的パラメータ選択のもとで、線形化ADMMが一般化された慣性的PPAのインスタンスとして形式的に示される。
• その結果、線形化ADMMの収束の平均化・非平均化の両意味で、グローバル収束性とO(1/k)収束速度が確立される。
• 効率性の向上を目的とした、LADMMの慣性的バージョン（iLADMM）が提案され、グローバル収束性を保ちつつ、圧縮主成分追求問題において標準LADMMよりも高速であることが実験的に示された。
• 実験結果から、iLADMMはαk ≈ 0.3で最良の性能を示し、特にq/dofが小さい場合、αk > 0.3では性能が劣化することが判明した。
• 外挿パラメータαkは、0.3付近で一定に保つことで最も効果的であることが判明し、実装における実用的指針が得られた。