[論文レビュー] Optimal Nonergodic Sublinear Convergence Rate of Proximal Point Algorithm for Maximal Monotone Inclusion Problems

Guoyong Gu, Junfeng Yang|arXiv (Cornell University)|Apr 11, 2019

Sparse and Compressive Sensing Techniques参考文献 33被引用数 6

ひとこと要約

本稿は、次元が2以上の有限次元ユークリッド空間における最大単調包含問題に対する近位点法（PPA）の正確な最適非エルゴード的部分線形収束速度を確立する。性能評価フレームワークを用いて最悪ケースの収束速度を定式化し、それを半正定値計画問題（SDP）に再定式化することで、双対実行可能解を用いてタイトな上界を導出し、2次元の例によってこの上界を正確に達成することを確認した。その結果、正確な収束速度 $rac{1}{(1 + rac{1}{N})^N (N+1)}$ が得られた。

ABSTRACT

We establish the optimal nonergodic sublinear convergence rate of the proximal point algorithm for maximal monotone inclusion problems. First, the optimal bound is formulated by the performance estimation framework, resulting in an infinite dimensional nonconvex optimization problem, which is then equivalently reformulated as a finite dimensional semidefinite programming (SDP) problem. By constructing a feasible solution to the dual SDP, we obtain an upper bound on the optimal nonergodic sublinear rate. Finally, an example in two dimensional space is constructed to provide a lower bound on the optimal nonergodic sublinear rate. Since the lower bound provided by the example matches exactly the upper bound obtained by the dual SDP, we have thus established the worst case nonergodic sublinear convergence rate which is optimal in terms of both the order as well as the constants involved. Our result sharpens the understanding of the fundamental proximal point algorithm.

研究の動機と目的

• 近位点法（PPA）の最大単調包含問題に対する正確な最悪ケース非エルゴード的部分線形収束速度を特定すること。
• 既知の上界と真の最悪ケースレートの間のギャップを、タイトな上界と下界の両方を確立することで埋めること。
• 構成的例を用いて、既知の $O(1/N)$ の収束速度が順序だけでなく定数因子においても最適であることを示し、正確な定数を同定すること。
• 性能評価フレームワーク（PEP）を無限次元非凸最適化に応用し、それを有限次元の半正定値計画問題（SDP）に再定式化すること。

提案手法

• 性能評価フレームワークを用いて、PPAの最悪ケース収束速度を無限次元非凸最適化問題としてモデル化する。
• PEPの手法を用いて、無限次元問題を有限次元の凸半正定値計画問題（SDP）に同値に再定式化する。
• SDPに対する双対実行可能解を明示的に構築し、最適収束速度の上界を導出する。
• PPAの反復がアルゴリズム的スキームを満たし、固定点残差が導出された上界に正確に一致する2次元の例を構築する。
• その例が ${\cal M}$-補間可能であることを示し、構築された作用素が最大単調的であり、反復がPPAのダイナミクスに従うことを確認する。
• 例において固定点残差を明示的に計算し、上界と一致する収束速度が得られることを示し、最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 次元 $n \geq 2$ の場合に、最大単調包含問題に対する近位点法の正確な最悪ケース非エルゴード的部分線形収束速度は何か？
• RQ2 既知の $O(1/N)$ 収束速度は定数因子の面でもタイトにできるか？ もしそうならば、最適な定数は何か？
• RQ3 性能評価フレームワークは、正則性仮定がなくても、非エルゴード的PPAの正確な最悪ケース境界を導出できるか？
• RQ4 双対SDPから導出された上界を正確に達成する2次元の例を構築できるか？ その結果、最適性が証明されるか？
• RQ5 定数 $rac{1}{(1 + \frac{1}{N})^N (N+1)}$ は、順序と定数の両面でPPAの収束速度として最もタイトな可能性を持つのか？

主な発見

• 次元 $n \geq 2$ の $\mathbb{R}^n$ における最大単調包含問題に対する近位点法の正確な最悪ケース非エルゴード的部分線形収束速度は、反復回数 $N$ を用いて $\frac{1}{(1 + \frac{1}{N})^N (N+1)}$ に等しい。
• 上界と下界が一致することから、この収束速度は収束の順序および定数因子の両面で最適であることが確認された。
• 上界は、性能評価問題の半正定値計画問題（SDP）への再定式化に対する双対実行可能解を用いて導出された。
• 下界は、回転に基づく単調作用素 $A(w) = \tan(\theta) \begin{pmatrix} 0 & 1 \\ -1 & 0 \end{pmatrix} w$ を含む2次元の例によって達成され、PPAのダイナミクスおよび単調性条件をすべて満たしている。
• 構築された例により、上界が順序および定数の両面で改善不能であることが確認され、正確な最悪ケースレートが証明された。
• 従来の $O(1/N)$ の境界は $\exp(-1)$ の要因で改善され、既知の境界と真の最悪ケースレートのギャップが解消された。