[論文レビュー] Multi-Level Stochastic Gradient Methods for Nested Composition Optimization

Shuoguang Yang, Mengdi Wang+1 more|arXiv (Cornell University)|Jan 11, 2018

Risk and Portfolio Optimization参考文献 1被引用数 5

ひとこと要約

本稿では、Tレベルの期待値を含むネストされた合成最適化に対して、複雑な依存関係を扱うためにタイムスケールに基づくアプローチを用いた、マルチレベルの確率的勾配法を提案する。滑らかな目的関数に対しては O(n⁻⁴/(7+T)) の収束速度、強く凸な場合に対しては O(n⁻⁴/(3+T)) の収束速度を確立し、マルチレベル設定における標準的な確率的勾配法に比べ顕著な改善を示す。

ABSTRACT

Stochastic gradient methods are scalable for solving large-scale optimization problems that involve empirical expectations of loss functions. Existing results mainly apply to optimization problems where the objectives are one- or two-level expectations. In this paper, we consider the multi-level compositional optimization problem that involves compositions of multi-level component functions and nested expectations over a random path. It finds applications in risk-averse optimization and sequential planning. We propose a class of multi-level stochastic gradient methods that are motivated from the method of multi-timescale stochastic approximation. First we propose a basic $T$-level stochastic compositional gradient algorithm, establish its almost sure convergence and obtain an $n$-iteration error bound $O (n^{-1/2^T})$. Then we develop accelerated multi-level stochastic gradient methods by using an extrapolation-interpolation scheme to take advantage of the smoothness of individual component functions. When all component functions are smooth, we show that the convergence rate improves to $O(n^{-4/(7+T)})$ for general objectives and $O (n^{-4/(3+T)})$ for strongly convex objectives. We also provide almost sure convergence and rate of convergence results for nonconvex problems. The proposed methods and theoretical results are validated using numerical experiments.

研究の動機と目的

• リスクに注意を払う最適化や逐次意思決定において生じる、マルチレベルのネストされた期待値を含む大規模最適化問題に対処すること。
• 各関数の明示的な知識を必要とせず、各レベルでノイズの含まれた勾配を返すサンプルオラクルに依存する、スケーラブルな確率的勾配法の開発。
• 最小限の滑らかさの仮定の下で、凸および非凸設定の両方において、確実な収束と非漸近的誤差バインディングを確立すること。
• 個々の成分関数の滑らかさを活用するための外挿・内挿スキームを組み込むことで、収束速度の向上を図ること。

提案手法

• 各レベルのネストされた合成における勾配推定に、サンプルオラクルを繰り返し照会するTレベルの確率的合成勾配（SCGD）アルゴリズムを提案する。
• レベル間の逐次的依存関係を扱うために、マルチタイムスケールの確率的近似フレームワークを採用し、ノイズの含まれた勾配推定にもかかわらず安定した収束を保証する。
• 個々の成分関数の滑らかさを活用することで収束を加速するための外挿・内挿スキームを導入する。
• 誤差のレベル間伝播を分析することで収束速度を導出し、再帰的不等式とリャプノフ関数を用いて最適解からの距離をバインドする。
• 各成分関数 f(j) 及びその合成に対してノイズの含まれた勾配を返すサンプルオラクルを用い、全体の目的関数の勾配の不偏推定を必要としない。
• 最適性条件と強く凸な仮定を適用することで、有利な構造的性質がある場合の改善された収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配法は、各レベルが前のレベルの確率的変数に依存するTレベルのネストされた期待値合成を扱えるように拡張可能か？
• RQ2 成分関数が滑らかまたは強く凸である場合、マルチレベルの確率的合成最適化で達成可能な収束速度は何か？
• RQ3 ノイズの含まれた、成分関数ごとの勾配情報のみが利用可能なマルチレベルの確率的設定において、加速技術はどのように適応可能か？
• RQ4 レベル数Tが収束速度に与える影響は何か？また、アルゴリズム的設計によってこれを軽減可能か？
• RQ5 弱い正則性条件の下で、非凸なマルチレベル確率的合成問題についても確実な収束を確立できるか？

主な発見

• 標準的な仮定の下で、一般の目的関数に対して、提案されたTレベルの確率的合成勾配法は、確実な収束速度 O(n⁻¹/²ᵀ) を達成する。
• 成分関数が滑らかである場合、収束速度は O(n⁻⁴/(7+T)) に向上し、滑らかさを活用する利点が示される。
• 強く凸な目的関数の場合、収束速度はさらに O(n⁻⁴/(3+T)) に向上し、構造的仮定のもとで加速された収束が実現される。
• 非凸問題に対しても、滑らかさの仮定の下で、確実な収束が維持され、収束速度は O(n⁻⁴/(7+T)) である。
• 理論的分析により、収束速度がTの増加に伴い劣化するが、加速スキームがその劣化を顕著に緩和することが確認された。
• 数値実験により理論的予測が妥当であることが検証され、提案手法がマルチレベル設定におけるベースラインの確率的勾配法を上回ることを示した。