[論文レビュー] Accelerated Proximal Point Method for Maximally Monotone Operators

Donghwan Kim|arXiv (Cornell University)|May 13, 2019

Optimization and Variational Analysis参考文献 59被引用数 12

ひとこと要約

本稿では、最大単調作用素に対して、コンピュータ支援による加速付き近位点法を提案し、固定点残差の観点から最悪ケース収束速度を O(1/i²) に改善した。これは標準的な O(1/i) 速度よりも顕著に向上している。加速は性能評価問題（PEP）フレームワークを用いて導出され、ADMM や PDHG、および近位点法の乗数法といった主要なアルゴリズムへも拡張可能であり、数値結果により収束がより速いことが確認された。

ABSTRACT

This paper proposes an accelerated proximal point method for maximally monotone operators. The proof is computer-assisted via the performance estimation problem approach. The proximal point method includes various well-known convex optimization methods, such as the proximal method of multipliers and the alternating direction method of multipliers, and thus the proposed acceleration has wide applications. Numerical experiments are presented to demonstrate the accelerating behaviors.

研究の動機と目的

• 最大単調作用素に対する、より良い最悪ケース収束速度を有する加速付き近位点法の開発。
• 凸最小化から一般の単調包含問題への加速の拡張。
• ADMM や PDHG、および近位点法の乗数法といった代表的な一階法への加速の適用。
• 強い単調性下でのリスタート技術を用いた線形収束の実現。
• 数値実験を通じて、加速の実用的・理論的利点の提示。

提案手法

• 本手法は、性能評価問題（PEP）アプローチを用いて、近位点法の加速版を導出する。
• PEPの半定値計画法による定式化を通じて、ステップ係数の最適化により加速を達成する。
• Nesterovの加速にインspiredされた外挿ステップを採用し、単調作用素包含問題に適応する。
• 強い単調性下ではリスタート戦略を用いて線形収束を達成する。
• Yosida近似フレームワークを用いて、共円性作用素に対する前向き法へ応用する。
• PEPフレームワークに基づくコンピュータ支援証明を用いて理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 最大単調作用素に対する近位点法の最悪ケース収束速度は、O(1/i) を超えて加速可能か？
• RQ2 PEPアプローチは、単調包含問題に対する保証付き加速法の導出を可能にするか？
• RQ3 提案された加速は、ADMM や PDHG といった標準的一階法へ拡張可能か？
• RQ4 強い単調性下でのリスタートが収束速度に与える影響は何か？
• RQ5 実際の応用において、加速法は標準的な変種と比較してどのように差がつくか？

主な発見

• 提案手法は、固定点残差の観点から O(1/i²) の最悪ケース収束速度を達成し、標準的な O(1/i) 速度を上回っている。
• 数値的検証により、さまざまなテスト問題において標準的近位点法よりも収束が速いことが示された。
• ADMM への応用において、理論的 O(1/i²) 界に近い収束速度が得られ、リスタートにより観察された振動が緩和された。
• 強い単調性下でのリスタート技術により線形収束が達成され、実用的状況では標準的近位点法を上回った。
• 共円性作用素に対する前向き法へも、Yosida近似を介して加速が拡張可能であり、加速勾配型手法の実現が可能になった。
• コンピュータ支援 PEP アプローチにより、加速手法の厳密な導出と検証が可能となり、既存の加速スキームと同等であることが文献で示された。