[論文レビュー] A Single Time-Scale Stochastic Approximation Method for Nested Stochastic Optimization

Saeed Ghadimi, Andrzej Ruszczyński+1 more|arXiv (Cornell University)|Dec 3, 2018

Stochastic Gradient Optimization Techniques参考文献 24被引用数 8

ひとこと要約

本稿では、勾配と関数値のノイズのある推定値しか入手できない、ネストされた確率的最適化問題を対象とした単一時間スケールの確率的最適化手法であるネストド・アベレージド・ステージング・アプロキマーション（NASA）アルゴリズムを提案する。この手法は、ε-近似静止点を求める際の最適な ${\cal O}(1/\varepsilon^{2})$ のサンプル複雑度を達成し、バッチサンプリングを必要とせず、制約付きおよび非制約付き問題の両方に対して一様に動作する。

ABSTRACT

We study constrained nested stochastic optimization problems in which the objective function is a composition of two smooth functions whose exact values and derivatives are not available. We propose a single time-scale stochastic approximation algorithm, which we call the Nested Averaged Stochastic Approximation (NASA), to find an approximate stationary point of the problem. The algorithm has two auxiliary averaged sequences (filters) which estimate the gradient of the composite objective function and the inner function value. By using a special Lyapunov function, we show that NASA achieves the sample complexity of ${\cal O}(1/ε^{2})$ for finding an $ε$-approximate stationary point, thus outperforming all extant methods for nested stochastic approximation. Our method and its analysis are the same for both unconstrained and constrained problems, without any need of batch samples for constrained nonconvex stochastic optimization. We also present a simplified variant of the NASA method for solving constrained single level stochastic optimization problems, and we prove the same complexity result for both unconstrained and constrained problems.

研究の動機と目的

• 目的関数が2つの滑らかな関数の合成で表される制約付きネストド確率的最適化問題に対処すること。この問題では、関数値および勾配が直接観測できない。
• バッチサンプリングや別々の時間スケールの調整を必要としない、単一時間スケールで動作する確率的近似アルゴリズムの開発。
• 非制約付きおよび制約付き両設定において、ε-近似静止点を求めるための最適なサンプル複雑度を達成すること。
• 同じ複雑度保証を持つ、単一レベル確率的最適化のためのパラメータフリーな変種を提示すること。

提案手法

• NASAアルゴリズムは、合成目的関数の勾配と内部関数値の推定に、2つの補助的な平均化シーケンス（フィルタ）を用いる。
• 収束解析とサンプル複雑度の上限を確立するために、特別なリャプノフ関数を用いる。
• 収束を保証するために、$\tau_k \propto 1/\sqrt{k}$ を満たす減少するステップサイズを用いた再帰的更新を採用する。
• バッチサンプルや別々の時間スケール調整を必要とせず、非制約付きおよび制約付き問題の両方に対して一様に処理できる。
• ステップサイズと正則化パラメータを簡略化することで、パラメータフリーな変種を導出しており、同じ収束速度を維持する。
• 解析は、勾配のリプシッツ連続性と確率的オракル出力におけるノイズの有界性に関する仮定に依存する。

実験結果

リサーチクエスチョン

• RQ1 部分情報下で、単一時間スケールの確率的近似手法がネストド確率的最適化において最適なサンプル複雑度を達成できるか。
• RQ2 提案手法がバッチサンプリングを必要とせず、非制約付きおよび制約付き問題の両方で同じ収束速度を維持できるか。
• RQ3 単一レベル確率的最適化のための、同じ複雑度バインドを保つパラメータフリーなアルゴリズムの変種を設計できるか。
• RQ4 非凸なネストド確率的最適化問題において、${\cal O}(1/\varepsilon^2)$ のサンプル複雑度を達成できるか。

主な発見

• NASAアルゴリズムは、ε-近似静止点を求める際のサンプル複雑度が ${\cal O}(1/\varepsilon^2)$ に達し、単一レベル確率的勾配法の最良に知られたレートと一致する。
• 収束解析と複雑度上限は、バッチサンプルや別々の時間スケール調整を必要とせず、非制約付きおよび制約付き問題の両方に対して一様に成立する。
• 仮定3で形式化された、より一般なノイズ構造を許容する緩いオラクル仮定のもとでも、手法はロバストである。
• NASAのパラメータフリーな変種は、単一レベル確率的最適化問題に対しても、同じ ${\cal O}(1/\varepsilon^2)$ のサンプル複雑度を維持する。
• 反復点と勾配推定誤差の進化を追跡する新しいリャプノフ関数を用いることで、理論的保証が確立された。
• 標準的なステップサイズ条件のもとで、漸近的に静止点への収束が証明され、蓄積点のほとんど確実な収束が最適性条件を満たす解へと示された。