[論文レビュー] RECAPP: Crafting a More Efficient Catalyst for Convex Optimization

Yair Carmon, Arun Jambulapati+2 more|arXiv (Cornell University)|Jun 17, 2022

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

この論文は、凸最適化における加速型プロキシマル・ポイント法のための緩い誤差基準であるRECAPPを導入する。RECAPPは、有限和および最大構造問題において、最適な複雑度バウンドを達成し、対数因子を除去することで、従来のCatalystベースや問題特化型手法を上回る性能を実現する。高精度な部分問題解法の必要性を排除することで、理論的かつ実用的な非効率性を解消する。

ABSTRACT

The accelerated proximal point algorithm (APPA), also known as "Catalyst", is a well-established reduction from convex optimization to approximate proximal point computation (i.e., regularized minimization). This reduction is conceptually elegant and yields strong convergence rate guarantees. However, these rates feature an extraneous logarithmic term arising from the need to compute each proximal point to high accuracy. In this work, we propose a novel Relaxed Error Criterion for Accelerated Proximal Point (RECAPP) that eliminates the need for high accuracy subproblem solutions. We apply RECAPP to two canonical problems: finite-sum and max-structured minimization. For finite-sum problems, we match the best known complexity, previously obtained by carefully-designed problem-specific algorithms. For minimizing $\max_y f(x,y)$ where $f$ is convex in $x$ and strongly-concave in $y$, we improve on the best known (Catalyst-based) bound by a logarithmic factor.

研究の動機と目的

• 既存のCatalyst/加速型プロキシマル・ポイント法が、高精度な部分問題解法を必要とすることによる理論的・実用的非効率性を是正すること。
• プロキシマル・ポイント計算における厳密な精度要件から生じる、収束レートにおける余分な対数因子を除去すること。
• 加速の利点を維持しながら、部分問題解法に伴う計算オーバーヘッドを低減する汎用フレームワークの開発。
• 問題特化型設計に依存せずに、有限和および最大構造最適化問題に対して最適または近似的最適な複雑度バウンドを達成すること。

提案手法

• 部分問題解法の精度要件を緩めた新しい緩い誤差条件（RECAPP）を提案し、反復回数の削減を実現する。
• 標準的な部分問題ソルバー（例：SVRG、ミラー・プロックス）を用いる際にも、複雑度に追加の対数項が生じない新たな誤差バウンドを導入する。
• 有限和問題にRECAPPを適用する際、SVRGと組み合わせることで、$ O(n\log\log n + \sqrt{nLR^2/\epsilon}) $ の最良既知の複雑度バウンドを達成する。
• 最大構造問題にRECAPPを拡張する際、ミラー・プロックスを部分問題ソルバーとして用い、$ O(LR/\sqrt{\mu\epsilon}) $ の勾配クエリ数を達成し、従来のCatalystベースのバウンドから対数因子を除去する。
• 再起動戦略を用いて、強凸な目的関数に対して線形収束を達成する。
• 誤差許容度を有する近似プロキシマルオракルの新バージョンを形式化し、追加の対数項なしに収束を保証する複雑度解析を形式化する。

実験結果

リサーチクエスチョン

• RQ1 Catalystベースの収束レートにおける対数因子は、一般性や安定性を損なわず、除去可能か？
• RQ2 加速を維持しつつ、部分問題の精度要件を緩和できるような、緩い誤差条件を設計可能か？
• RQ3 RECAPPは、問題特化型アルゴリズム設計に依存せず、有限和問題に対して最適な複雑度バウンドを達成可能か？
• RQ4 RECAPPは、凸-凹目的関数を持つミニマックス問題において、最先端の複雑度を改善可能か？
• RQ5 このフレームワークは、非強凸および強凸設定の両方をカバーし、最適な収束レートを達成可能か？

主な発見

• 有限和問題において、RECAPPとSVRGを組み合わせることで、$ O(n\log\log n + \sqrt{nLR^2/\epsilon}) $ の最良既知の複雑度バウンドを達成し、特化型アルゴリズムの最適レートと一致する。
• 関数 $ f $ が $ x $ に関して凸で、$ y $ に関して $ \mu $-強凸である $ \max_y f(x,y) $ の最小化において、RECAPPは対数因子を除去し、$ O(LR/\sqrt{\mu\epsilon}) $ の勾配クエリ数を達成する。これは漸近的に最適である。
• 従来のCatalystベースのバウンド $ O(LR/\sqrt{\mu\epsilon} \log(LR/\sqrt{\mu\epsilon})) $ よりも、対数項を除去することで改善される。
• 高価な部分問題解法の回数を削減しながらも、グローバル収束の保証を維持し、実用的効率が向上する。
• ロジスティック回帰における予備実験では、RECAPPはCatalyst-SVRGと実用的に同等の性能を示す。
• 理論的解析により、RECAPPが非強凸および強凸設定の両方で最適な複雑度を達成でき、勾配および部分問題クエリ複雑度に対してタイトなバウンドが得られることを確認した。