[論文レビュー] Randomized Stochastic Variance-Reduced Methods for Stochastic Bilevel Optimization.

Zhishuai Guo, Tianbao Yang|arXiv (Cornell University)|May 5, 2021

Stochastic Gradient Optimization Techniques参考文献 8被引用数 6

ひとこと要約

本稿では、非凸確率的バイレベル最適化（SBO）のための確率的勾配分散低減アルゴリズムを提案し、反復ごとに1つの下位問題のみを処理することで、複数の下位問題を効率的に扱えるようにする。単一の下位問題に対しては $O(1/\epsilon^3)$ の最適なサンプル複雑度を達成し、$m>1$ 個の下位問題に対しては $O(m/\epsilon^3)$ を達成する。これは、非凸確率的最適化における最先端の境界と一致する。

ABSTRACT

In this paper, we consider non-convex stochastic bilevel optimization (SBO) problems that have many applications in machine learning. Although numerous studies have proposed stochastic algorithms for solving these problems, they are limited in two perspectives: (i) their sample complexities are high, which do not match the state-of-the-art result for non-convex stochastic optimization; (ii) their algorithms are tailored to problems with only one lower-level problem. When there are many lower-level problems, it could be prohibitive to process all these lower-level problems at each iteration. To address these limitations, this paper proposes fast randomized stochastic algorithms for non-convex SBO problems. First, we present a stochastic method for non-convex SBO with only one lower problem and establish its sample complexity of $O(1/\epsilon^3)$ for finding an $\epsilon$-stationary point under appropriate conditions, matching the lower bound for stochastic smooth non-convex optimization. Second, we present a randomized stochastic method for non-convex SBO with $m>1$ lower level problems by processing only one lower problem at each iteration, and establish its sample complexity no worse than $O(m/\epsilon^3)$, which could have a better complexity than simply processing all $m$ lower problems at each iteration. To the best of our knowledge, this is the first work considering SBO with many lower level problems and establishing state-of-the-art sample complexity.

研究の動機と目的

• 非凸問題における既存の確率的バイレベル最適化（SBO）アルゴリズムの高いサンプル複雑度に対処すること。
• 下位問題が $m>1$ 個存在する場合に、各反復ですべての下位問題を処理するという制限を克服すること。
• 下位問題が $m>1$ 個ある場合に、1反復あたり1つの下位問題のみを処理しつつ、低サンプル複雑度を維持する手法を開発すること。
• 非凸確率的最適化における最先端の境界と一致する理論的サンプル複雑度の境界を確立すること。

提案手法

• 制御変数を用いて勾配の分散を低減することで、単一の下位問題を対象とした非凸SBOのための確率的分散低減手法を提案する。
• 各反復で下位問題を一様にランダムに1つ選択するランダムサンプリング戦略を導入し、フルバッチ計算を回避する。
• 下位問題の更新における確率的性質にもかかわらず、上位問題最適化の精度を維持するための再帰的勾配推定器を採用する。
• バイレベル問題のネスト構造を考慮した新しい分析フレームワークを用いて、理論的収束保証を導出する。
• バイレベル文脈における分散低減メカニズムの精密な分析を通じて、サンプル複雑度の境界を確立する。
• サンプリングと更新プロセスを分離することで、$m>1$ 個の下位問題を処理する方法を拡張し、スケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 非凸確率的最適化の下界と一致するサンプル複雑度を達成するバイレベル最適化アルゴリズムを設計できるか？
• RQ2 各反復ですべての下位問題を処理するコストを負担せずに、複数の下位問題を効率的に処理する方法は何か？
• RQ3 1反復あたり1つの下位問題のみを処理するランダム化SBO手法の理論的サンプル複雑度は何か？
• RQ4 下位問題が $m>1$ 個ある場合に、各反復ですべての $m$ 個の下位問題を処理するのと比較して、提案手法がより優れたサンプル複雑度を達成できるか？
• RQ5 分散低減技術は、ネスト構造を持つ非凸バイレベル最適化設定に効果的に適応できるか？

主な発見

• 単一の下位問題を対象とした提案手法は、$\epsilon$-停留点を求めるためのサンプル複雑度が $O(1/\epsilon^3)$ に達し、非凸確率的最適化における既知の下界と一致する。
• 下位問題が $m>1$ 個ある場合、サンプル複雑度は $O(m/\epsilon^3)$ に達し、各反復ですべての $m$ 個の問題を処理する場合よりも優れている。
• ランダムサンプリング戦略により、下位問題の数が大きくても、アルゴリズムが効率的かつスケーラブルなままであることが保証される。
• 理論的分析により、分散低減メカニズムが上位問題の勾配推定におけるノイズを効果的に制御していることが確認された。
• 本手法は、複数の下位問題を扱うSBOにおいて、1反復あたり1つの下位問題のみを処理するランダム化フレームワークを考察・分析した最初の手法である。
• 結果として、バイレベル最適化設定において最先端のサンプル複雑度を達成していることが示された。