[論文レビュー] Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems

Parvin Nazari, Davoud Ataee Tarzanagh+1 more|arXiv (Cornell University)|May 19, 2020

Stochastic Gradient Optimization Techniques参考文献 47被引用数 8

ひとこと要約

本稿では、弱凸確率最適化のための適応的1次および0次手法（FemaおよびZema）を提案する。勾配および部分勾配の指数移動平均を活用することで、1次停留点への収束を達成する。主な貢献は、滑らでない・非凸な問題に対して非漸近的収束レートを確立したことである。これに対して、従来の適応的手法は理論的保証を欠いていた。

ABSTRACT

In this paper, we design and analyze a new family of adaptive subgradient methods for solving an important class of weakly convex (possibly nonsmooth) stochastic optimization problems. Adaptive methods that use exponential moving averages of past gradients to update search directions and learning rates have recently attracted a lot of attention for solving optimization problems that arise in machine learning. Nevertheless, their convergence analysis almost exclusively requires smoothness and/or convexity of the objective function. In contrast, we establish non-asymptotic rates of convergence of first and zeroth-order adaptive methods and their proximal variants for a reasonably broad class of nonsmooth \& nonconvex optimization problems. Experimental results indicate how the proposed algorithms empirically outperform stochastic gradient descent and its zeroth-order variant for solving such optimization problems.

研究の動機と目的

• 滑らでない・非凸な確率的最適化設定において、Adam や RMSProp などの適応的手法に理論的収束保証が欠けている問題に対処する。
• 機械学習で一般的なが弱凸な目的関数に適応的最適化を拡張し、既存の解析からしばしば除外されていた状況をカバーする。
• 部分勾配が入手不能な状況における勾配フリー最適化のための0次バージョン（Zema）を設計する。これによりブラックボックスシステムへの応用が可能になる。
• 弱凸関数を安定した最適化に適した形に正則化するため、Moreau包絡を停留点の尺度として用いる収束解析を提供する。
• FemaおよびZemaが、ロバスト位相再構成およびニューラルネットワーク学習タスクにおいて、標準的なSGDおよびその0次版を実験的に上回ることを示す。

提案手法

• 過去の勾配および部分勾配の指数移動平均（EMA）を用いて、学習率を動的に調整する適応的1次手法Femaを導入する。
• 弱凸関数の停留点を測るためのスケーリングされたMoreau包絡を定義し、滑らか化を介した収束解析を可能にする。
• 関数値の差分を用いて勾配を近似する0次バージョンのZemaを提案する。これはブラックボックス最適化に適している。
• 弱凸問題における滑らでない正則化項や制約を扱うために、Moreau包絡によるproximal更新を組み込む。
• 2乗勾配および部分勾配のEMAに依存する適応的ステップサイズルールを採用し、収束速度を制御するパrameterを調整する。
• Moreau正則化勾配の期待値の2乗ノルムの観点から収束レートを確立し、やや厳しい条件下でもO(1/√T)の減衰を示す。

実験結果

リサーチクエスチョン

• RQ1 弱凸的かつ滑らでない確率的最適化問題に対して、適応的1次手法は1次停留点に収束できるか？
• RQ2 目的関数が非凸的かつ滑らでない場合に、EMAに基づく適応的手法にどのような理論的保証を設定できるか？
• RQ3 勾配情報が欠如する状況において、0次適応的手法は弱凸的目的関数に対してどのように機能するか？
• RQ4 滑らでない設定における適応的手法の収束解析に、Moreau包絡を代理指標として用いることは可能か？
• RQ5 Fema や Zema といった適応的手法は、実世界の非凸最適化タスクにおいて、標準的なSGDおよびその0次版を実験的に上回るか？

主な発見

• Femaは、弱凸確率的問題に対して非漸近的収束レートO(1/√T)を達成し、そのレートは適応的モーメントパラメータに明示的に依存する。
• Zemaは0次設定においてO(d²/√T)の収束レートを達成し、弱凸的目的関数の勾配フリー最適化において有効であることを示す。
• ロバスト位相再構成における実験結果から、FemaおよびZemaはSGDおよびZ-SGDよりも最適性ギャップを顕著に小さくする。特に高次元データにおいて顕著である。
• CIFAR-10およびCIFAR-100では、Fema3が、5.51%（CIFAR-10）および25.02%（CIFAR-100）という最先端のテスト誤差を達成し、標準的なSGDおよび他の適応的ベースラインを上回る。
• Fema3のデフォルトパラメータ設定（α=1e-3, β₁=0.9, β₂=0.999）は、ハイパーパrameterチューニングなしで最良の性能を発揮し、その適応性を強調する。
• 収束解析は、滑らでない・非凸な損失関数を含む広範な弱凸問題のクラスに適用可能であり、滑らかさを仮定する従来の結果を拡張する。