[論文レビュー] Accelerated Proximal Point Method and Forward Method for Monotone Inclusions

Donghwan Kim|arXiv (Cornell University)|May 13, 2019

Optimization and Variational Analysis被引用数 3

ひとこと要約

本稿では、性能評価問題アプローチを用いたコンピュータ支援証明により、最大単調作用素に対する加速型プロキシマル点法を導入する。この手法は、プロキシマル・ラグランジュ乗数法やADMMのような基本的な凸最適化アルゴリズムの収束速度を向上させ、数値結果により加速が確認されており、ココーエルシブ作用素に対するフォワード法へも拡張可能である。

ABSTRACT

This paper proposes an accelerated proximal point method for maximally monotone operators. The proof is computer-assisted via the performance estimation problem approach. The proximal point method includes various well-known convex optimization methods, such as the proximal method of multipliers and the alternating direction method of multipliers, and thus the proposed acceleration has wide applications. Numerical experiments are presented to demonstrate the accelerating behaviors. In addition, this paper shows that the proposed acceleration applies to the forward method for cocoercive operators.

研究の動機と目的

• 凸最適化における収束速度の向上を目的として、最大単調作用素に対する加速型プロキシマル点法を開発すること。
• 性能評価問題アプローチを用いたコンピュータ支援証明により、加速の妥当性を検証すること。
• プロキシマル・ラグランジュ乗数法やADMMといった代表的なアルゴリズムへの本手法の適用可能性を示すこと。
• 作用素がココーエルシブである場合に、フォワード法への加速フレームワークの拡張を達成すること。
• 実験を通じて、改善された収束行動が明確に示される数値的証拠を提供すること。

提案手法

• 本稿では、収束解析を有限次元最適化問題として定式化するため、性能評価問題（PEP）フレームワークを採用する。
• PEP定式化から導かれる収束速度の上限を検証するために、コンピュータ支援証明を用いる。
• ネステロフ型加速にインspiredされた外挿ステップを導入し、収束速度を向上させる。
• 作用素のココーエルシビティを活用することで、フォワード法へのアプローチを一般化する。
• アルゴリズムを実装し、収束性能の向上を検証するために、単調包含問題に対して数値実験を実施する。
• PEPモデルの厳密な解析を通じて、収束保証をフレームワークが保証する。

実験結果

リサーチクエスチョン

• RQ1 最大単調作用素に対するプロキシマル点法は、性能評価問題アプローチを用いて加速可能か？
• RQ2 このクラスの作用素に対して、PEPフレームワーク下で達成可能な最良収束速度は何か？
• RQ3 作用素がココーエルシブである場合、加速技術はフォワード法へも拡張可能か？
• RQ4 実際の応用において、加速手法の数値的性能は、標準的手法と比べてどのように異なるか？
• RQ5 コンピュータ支援証明は、単調包含アルゴリズムの収束速度の妥当性を効果的に検証できるか？

主な発見

• 提案された加速型プロキシマル点法は、最大単調作用素に対して、標準的プロキシマル点法よりも高速な収束速度を達成する。
• 性能評価問題を介したコンピュータ支援証明により、理論的収束速度の上限が確認された。
• 数値実験により、実際の問題において明確な加速が観察され、テスト問題全体でより速い収束が確認された。
• ココーエルシブ作用素に対するフォワード法へも、加速フレームワークが成功裏に拡張され、収束速度が向上した。
• ADMM やプロキシマル・ラグランジュ乗数法といった代表的な凸最適化アルゴリズムにおいても、本手法は頑健で適用可能である。
• 性能評価問題とコンピュータ支援証明を組み合わせた手法の有効性が、結果から裏付けられた。