[論文レビュー] On the Optimal Ergodic Sublinear Convergence Rate of the Relaxed Proximal Point Algorithm for Variational Inequalities

Guoyong Gu, Junfeng Yang|arXiv (Cornell University)|May 15, 2019

Optimization and Variational Analysis参考文献 27被引用数 4

ひとこと要約

本稿は、パフォーマンス評価フレームワークを用いて、単調な変分不等式を解くための緩和型近接点法（RPPA）の最適な漸近的サブ線形収束速度を確立する。最悪ケースの収束速度が正確に $\frac{1}{2(\lambda N + 2)}$ であることを証明し、数値的に計算された上限と構築された下限が一致することを確認することで、次数および定数の両面で最適性が裏付けられる。

ABSTRACT

This paper investigates the optimal ergodic sublinear convergence rate of the relaxed proximal point algorithm for solving monotone variational inequality problems. The exact worst case convergence rate is computed using the performance estimation framework. It is observed that, as the number of iterations getting larger, this numerical rate asymptotically coincides with an existing sublinear rate, whose optimality is unknown. This hints that, without further assumptions, sublinear convergence rate is likely the best achievable rate. A concrete example is constructed, which provides a lower bound for the exact worst case convergence rate. Amazingly, this lower bound coincides with the exact worst case bound computed via the performance estimation framework. This observation motivates us to conjecture that the lower bound provided by the example is exactly the worse case iteration bound, which is then verified theoretically. We thus have established an ergodic sublinear convergence rate that is optimal in terms of both the order of the sublinear rate and all the constants involved.

研究の動機と目的

• 緩和型近接点法（RPPA）が単調な変分不等式を解く際の正確な最悪ケース収束速度を特定すること。
• パフォーマンス評価フレームワークを用いて、既存の理論的サブ線形境界と数値的に計算された最悪ケースレートの間のギャップを埋めること。
• 最悪ケース収束速度の下限を与える具体的な例を構築し、最適性を検証すること。
• サブ線形レート $\frac{1}{2(\lambda N + 2)}$ が次数および定数の両面で最適であることを確立し、境界のタイトネスを確認すること。

提案手法

• パフォーマンス評価フレームワークを適用し、単調な変分不等式に対するRPPAの正確な最悪ケース収束速度を計算する。
• 非凸な二次形式行列問題の定式化を用い、緩和および双対化することで最悪ケース性能の上界を導出する。
• 凸補間技術を用いて、パフォーマンス評価問題を半定値計画問題に変換する。
• 単調かつ連続な写像 $F$ と凸集合 $\Omega$ を備えた具体的な例を構築し、最悪ケース収束速度の下限を導出する。
• 代数的変形および不等式（シュワルツの不等式、三角不等式）を用いて、有効反復誤差を $\|w - w_0\|_H^2$ の項で上界で抑え込む。
• 導出された下限が数値的に計算された上界と一致することを示し、最適性の証明に至る。

実験結果

リサーチクエスチョン

• RQ1 緩和型PPAが単調な変分不等式を解く際の正確な最悪ケースの漸近的サブ線形収束速度は何か？
• RQ2 パフォーマンス評価フレームワークを用いて数値的に計算された最悪ケースレートは、理論的下限と一致するか？
• RQ3 構築された例が、パフォーマンス評価の上界と一致する下限を提供できるか？ これは最適性を示唆するか？
• RQ4 サブ線形収束速度 $\frac{1}{2(\lambda N + 2)}$ は、次数および定数の両面で最適か？
• RQ5 パフォーマンス評価フレームワークを用いることで、追加の仮定なしにRPPAのタイトで非漸近的収束境界を確立できるか？

主な発見

• 単調な変分不等式を解くための緩和型PPAの正確な最悪ケース収束速度は $\varepsilon^*(N) = \frac{1}{2(\lambda N + 2)}$ である。
• パフォーマンス評価フレームワークにより、漸近的に既知の理論的サブ線形レートと一致する数値的最悪ケース境界が得られる。
• 構築された例により、最悪ケース収束速度の下限が得られ、それがパフォーマンス評価の上界と正確に一致する。
• この一致により、$\frac{1}{2(\lambda N + 2)}$ が次数および定数の両面で最適な漸近的サブ線形収束速度であるという理論的証明が得られる。
• 古典的な $\frac{1}{2\lambda(N+1)}$ から $\frac{1}{2\lambda N + 4}$ に改善され、ギャップが解消され、境界がタイトになる。
• この結果により、追加の仮定なしに、この設定においてサブ線形収束がRPPAにとって最良の可能なレートであることが確認される。