[論文レビュー] UniXGrad: A Universal, Adaptive Algorithm with Optimal Guarantees for Constrained Optimization

Ali Kavis, Kfir Y. Levy+2 more|arXiv (Cornell University)|Oct 30, 2019

Stochastic Gradient Optimization Techniques被引用数 15

ひとこと要約

UniXGrad は、滑らかさ $L$ や勾配ノイズ分散 $\sigma^2$ の事前知識を必要とせず、非滑らか問題では $\mathcal{O}(GD/\sqrt{T})$、滑らか問題では $\mathcal{O}(D^2L/T^2 + \sigma D/\sqrt{T})$ の最適収束速度を達成する、制約付き確率的凸最適化のための新規で適応的かつ万能なアルゴリズムである。Mirror-Prox にインspired されたアプローチにより、適応的学習率とオンラインからバッチへの変換を用いて、さまざまな設定において最適な性能を統合的に実現する。

ABSTRACT

We propose a novel adaptive, accelerated algorithm for the stochastic constrained convex optimization setting. Our method, which is inspired by the Mirror-Prox method, \emph{simultaneously} achieves the optimal rates for smooth/non-smooth problems with either deterministic/stochastic first-order oracles. This is done without any prior knowledge of the smoothness nor the noise properties of the problem. To the best of our knowledge, this is the first adaptive, unified algorithm that achieves the optimal rates in the constrained setting. We demonstrate the practical performance of our framework through extensive numerical experiments.

研究の動機と目的

• 制約付き確率的凸最適化（SCO）において、最適な収束速度を達成するが、滑らかさ $L$ やノイズ分散 $\sigma^2$ の事前知識を必要としない、適応的かつ万能なアルゴリズムの欠如を解消すること。
• 滑らかさ $L$ やノイズ分散 $\sigma^2$ の事前知識を必要とせずに、制約付き設定において滑らか・非滑らか問題の両方で最適な収束速度を統合すること。
• 従来の制約付き SCO における万能手法に関する未解決の問題を解決すること。
• 理論的な最適な収束速度を達成するが、実用的かつスケーラブルなアルゴリズムを構築すること。

提案手法

• オンライン学習技術にインspired された新しい適応的学習率ルールを用いて、Mirror-Prox フレームワークを拡張する。
• 未知の滑らかさやノイズレベルに内在的に適合する適応的ステップサイズメカニズムを採用する。
• オンラインからバッチへの変換を用いて、オンラインレジストバウンドから一般化保証を導出する。
• 収束の安定化を図るため、双対平均スタイルの平均化を用いた再帰的更新ルールを導入する。
• Bregman 散発と距離生成関数 $\mathcal{R}$ の強凸性を活用して、制約の満たしを保証する。
• 条件付き期待値と分散制御を組み込んだ、勾配ノイズおよびモーメンタム項の精密な解析を通じて収束バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさ $L$ やノイズ分散 $\sigma^2$ の事前知識を必要とせず、非滑らかおよび滑らか問題の両方で最適な収束速度を達成する単一の適応的アルゴリズムは可能か？
• RQ2 非制約付き設定から制約付き設定へ、万能的最適化の原則を拡張することは可能か？ その際、最適な収束速度を維持できるか？
• RQ3 滑らかさやノイズといった未知の問題特性に内在的に反応する適応的学習率は、どのように設計できるか？
• RQ4 確率的オракルを用いる制約付き SCO において、適応的かつ加速された手法に対してどのような理論的保証を得られるか？
• RQ5 従来の万能手法に見られる対数因子は、制約付き設定において除去可能か？

主な発見

• UniXGrad は、非滑らか問題に対して $\mathcal{O}(GD/\sqrt{T})$ の最適収束速度を達成し、SGD で達成可能な最良のレートと一致する。
• 滑らか問題では、$\mathcal{O}(D^2L/T^2 + \sigma D/\sqrt{T})$ の最適レートを達成し、制約付き万能最適化における長年の未解決問題を解決する。
• 従来の万能手法に見られる不要な対数因子を除去し、非制約および制約付き両設定におけるレートバウンドを厳密にした。
• 理論的解析により、未知の滑らかさおよびノイズレベルに適応し、調整なしに最適な性能を達成できることを確認した。
• 数値実験により、SVM、ロジスティック回帰、Lasso など多様な機械学習タスクで優れた実用的性能を示した。
• 最終的な収束バウンドは $\mathbb{E}[f(\bar{x}_T)] - \min_{x\in\mathcal{K}}f(x) \leq \frac{224\sqrt{14}D^2L}{T^2} + \frac{14\sqrt{2}\sigma D}{\sqrt{T}}$ であり、$T$、$L$、$D$、$\sigma$ に対する最適依存性を確認した。