[論文レビュー] Halpern Iteration for Near-Optimal and Parameter-Free Monotone Inclusion and Strong Solutions to Variational Inequalities

Jelena Diakonikolas|arXiv (Cornell University)|Feb 20, 2020

Optimization and Variational Analysis参考文献 32被引用数 4

ひとこと要約

本稿では、ハルペルン反復を用いて、単調包含問題および変分不等式問題に対する近似的最適でパラメータフリーのアルゴリズムを提示する。収束速度は対数要因を除いて最適である。非拡大写像、単調作用素、およびプロキシマル写像の間の関係を活用することで、タイトな反復複雑度の上限を確立し、オракルモデルにおける還元と下界を用いて最適性を証明する。

ABSTRACT

We leverage the connections between nonexpansive maps, monotone Lipschitz operators, and proximal mappings to obtain near-optimal (i.e., optimal up to poly-log factors in terms of iteration complexity) and parameter-free methods for solving monotone inclusion problems. These results immediately translate into near-optimal guarantees for approximating strong solutions to variational inequality problems, approximating convex-concave min-max optimization problems, and minimizing the norm of the gradient in min-max optimization problems. Our analysis is based on a novel and simple potential-based proof of convergence of Halpern iteration, a classical iteration for finding fixed points of nonexpansive maps. Additionally, we provide a series of algorithmic reductions that highlight connections between different problem classes and lead to lower bounds that certify near-optimality of the studied methods.

研究の動機と目的

• リプシッツ連続作用素を伴う単調包含問題を解くためのパラメータフリーで近的最適なアルゴリズムの開発。
• ハルペルン反復を用いた変分不等式およびミニマックス最適化問題のタイトな反復複雑度の上限の確立。
• オラクルモデルにおけるアルゴリズム的還元と下界を用いて、提案手法の最適性の証明。
• 単調包含、非拡大写像の不動点、およびプロキシマルポイント法の間の関係の明確化。
• さまざまな作用素条件下での単調包含問題における上界と下界のギャップの解消。

提案手法

• ハルペルン反復をコアなアルゴリズムフレームワークとして採用：$\mathbf{u}_{k+1} = \lambda_{k+1}\mathbf{u}_0 + (1 - \lambda_{k+1})T(\mathbf{u}_k)$ ここで $T$ は非拡大写像。
• ハルペルン反復に対する新しいポテンシャルに基づく証明を確立し、$\ell_2$-ノルムにおける最も近い不動点への収束を保証。
• プロキシマル写像と作用素のリフトを用いて、単調包含問題を非拡大写像の不動点問題に還元。
• アルゴリズム的還元を適用し、単調包含問題を変分不等式、ミニマックス最適化、勾配ノルム最小化問題と結びつける。
• 作用素オラクルモデルにおける下界を導出し、さまざまな作用素クラス下での提案手法の近的最適性を証明。
• 再起動と適応的ステップサイズ戦略を用いて、強単調およびココエリシブ設定下での最適複雑度を達成。

実験結果

リサーチクエスチョン

• RQ1 ハルペルン反復は、リプシッツ作用素を伴う単調包含問題に対して、近的最適でパラメータフリーのアルゴリズムに適応可能か？
• RQ2 $L$-リプシッツ、$m$-強単調、および $\frac{1}{L}$-ココエリシブな設定下での単調包含問題の最適反復複雑度は何か？
• RQ3 提案手法は、既存手法と比較して収束保証および反復複雑度の面でどのように異なるか？
• RQ4 オラクルモデル下で、提案手法の最適性を証明するためのタイトな下界を導出可能か？
• RQ5 単調包含、非拡大写像の不動点、およびプロキシマルポイント法の間の関係は何か？

主な発見

• 提案されたハルペルンベースのアルゴリズムは、$L$-リプシッツ作用素に対して $O\left(\frac{LD^2}{\epsilon}\log\left(\frac{LD}{\epsilon}\right)\right)$ の反復複雑度を達成し、対数要因を除いて下界と一致する。
• $\frac{1}{L}$-ココエリシブ作用素に対しては、$O\left(\frac{LD}{\epsilon}\log\left(\frac{LD}{\epsilon}\right)\right)$ の複雑度を達成し、$\log(D/\epsilon)$ を除いて下界と一致する。
• $m$-強単調な場合、再起動を施したバージョンは $O\left(\frac{L}{m}\log\left(\frac{LD}{\epsilon}\right)\log\left(\frac{L}{m}\right)\right)$ の複雑度を達成し、対数要因を除いて下界と一致する。
• 本稿では、$\lambda_k$ にやや弱い条件を課すことで、ハルペルン反復が非拡大写像の $\ell_2$-距離で最も近い不動点に収束することを証明している。
• 下界の結果から、提案手法はすべての検討された設定下で、対数要因を除いて最適であることが示されている。
• これらの結果は、変分不等式の強い解の近似およびミニマックス最適化における勾配ノルム最小化において、近的最適な保証を示唆している。