[論文レビュー] Tighter Analysis of Alternating Stochastic Gradient Method for Stochastic Nested Problems

Tianyi Chen, Yuejiao Sun+1 more|arXiv (Cornell University)|Jun 25, 2021

Stochastic Gradient Optimization Techniques参考文献 22被引用数 7

ひとこと要約

本稿では、二重最適化、ミニマックス、合成的最適化などの確率的ネスト型最適化問題を統一的に解くためのALSET（ALternating Stochastic gradient dEscenT）手法を提案する。隠れた滑らかさとより鋭い解析を活用することで、ε-停留点を達成するための${\cal O}(\epsilon^{-2})$のサンプル複雑度を確立し、特殊な場合において既存の境界と一致またはそれを上回ることを示す。

ABSTRACT

Stochastic nested optimization, including stochastic compositional, min-max and bilevel optimization, is gaining popularity in many machine learning applications. While the three problems share the nested structure, existing works often treat them separately, and thus develop problem-specific algorithms and their analyses. Among various exciting developments, simple SGD-type updates (potentially on multiple variables) are still prevalent in solving this class of nested problems, but they are believed to have slower convergence rate compared to that of the non-nested problems. This paper unifies several SGD-type updates for stochastic nested problems into a single SGD approach that we term ALternating Stochastic gradient dEscenT (ALSET) method. By leveraging the hidden smoothness of the problem, this paper presents a tighter analysis of ALSET for stochastic nested problems. Under the new analysis, to achieve an $ε$-stationary point of the nested problem, it requires ${\cal O}(ε^{-2})$ samples. Under certain regularity conditions, applying our results to stochastic compositional, min-max and reinforcement learning problems either improves or matches the best-known sample complexity in the respective cases. Our results explain why simple SGD-type algorithms in stochastic nested problems all work very well in practice without the need for further modifications.

研究の動機と目的

• 確率的ネスト型最適化問題に対する既存のSGD型手法を、一つのフレームワークに統一すること。
• 確率的二重最適化、ミニマックス、合成的最適化における交互SGD手法の収束解析をより鋭くすること。
• 複雑な修正を要しない単純なSGD型アルゴリズムの実験的成功を、理論的根拠なしに説明すること。
• 一般の正則性条件の下で、ε-停留点を達成するための最適なサンプル複雑度を確立すること。

提案手法

• 二重最適化、ミニマックス、合成的定式化の共通構造を活かし、確率的ネスト型最適化問題に対する統一的な交互SGDアプローチとしてALSET手法を提案する。
• 進行状況と安定性を追跡するためのリャプノフ関数$\mathbb{V}^k = -F(\theta_k) + \|y_k - y^*(\theta_k)\|^2$を導入する。
• リャプノフ関数にテレスコピック引数を適用し、期待値の勾配ノルム$\mathbb{E}\|\nabla F(\theta_k)\|^2$をバインドする。
• 収束と近似誤差のバランスを取るために、ステップサイズルール$\alpha_k = \mathcal{O}(1/\sqrt{K})$、$\beta_k = \mathcal{O}(1/\sqrt{K})$を導出する。
• 問題の隠れた滑らかさを活用し、勾配推定と低レベル解の誤差のバインドを鋭くする。
• 上位レベル勾配の不正確さ（低レベル解の近似によるもの）を扱うために、バイアス-バリアンス分解を適用する。

実験結果

リサーチクエスチョン

• RQ1 単一のSGDベースのフレームワークで、確率的二重最適化、ミニマックス、合成的最適化問題の収束解析を統一的に扱えるか？
• RQ2 確率的ネスト型最適化において、ε-停留点を達成するための可能な限り鋭いサンプル複雑度は何か？
• RQ3 理論的期待とは対照的に、実験的に良好な性能を示す単純な交互SGD手法の背後にはどのような理由があるのか？
• RQ4 ネスト型問題における隠れた滑らかさをどのように活用して収束解析を改善できるか？

主な発見

• ALSET手法は、確率的ネスト型最適化問題においてε-停留点を求めるための${\cal O}(\epsilon^{-2})$のサンプル複雑度を達成する。
• 正則性条件の下で、本手法は確率的合成的最適化、ミニマックス、強化学習問題において、既存で最も良いサンプル複雑度と一致またはそれを上回る。
• 本分析により、アルゴリズムの修正なしに、単純なSGD型アルゴリズムのネスト型設定における実験的頑健性が説明できる。
• 収束バインドは、目的関数の進行状況と低レベル解の誤差の両方を追跡する、新しいリャプノフ関数を介して導出される。
• 本手法は、近似された低レベル解による上位レベル勾配の不正確さが、$\mathcal{O}(1/\sqrt{K})$のステップサイズで制御可能であることを示している。
• 本分析により、問題構造に内在する隠れた滑らかさが、標準的なSGD解析よりも鋭いバインドを可能にすることが明らかになった。