[論文レビュー] A Single-Timescale Stochastic Bilevel Optimization Method

Tianyi Chen, Yuejiao Sun+1 more|arXiv (Cornell University)|Feb 9, 2021

Stochastic Gradient Optimization Techniques参考文献 29被引用数 26

ひとこと要約

本稿では、一般の二段階最適化問題においてε-停留点を求める際の最適なサンプル複雑度𝒪(ε⁻²)と、強い凸性がある場合のε-最適解を求める際の最適なサンプル複雑度𝒪(ε⁻¹)を達成する、単一ループ・単一タイムスケールの確率的二段階最適化手法STABLEを提案する。これは、単一段階問題における確率的勾配降下法（SGD）の効率性と一致する。

ABSTRACT

Stochastic bilevel optimization generalizes the classic stochastic optimization from the minimization of a single objective to the minimization of an objective function that depends the solution of another optimization problem. Recently, stochastic bilevel optimization is regaining popularity in emerging machine learning applications such as hyper-parameter optimization and model-agnostic meta learning. To solve this class of stochastic optimization problems, existing methods require either double-loop or two-timescale updates, which are sometimes less efficient. This paper develops a new optimization method for a class of stochastic bilevel problems that we term Single-Timescale stochAstic BiLevEl optimization (STABLE) method. STABLE runs in a single loop fashion, and uses a single-timescale update with a fixed batch size. To achieve an $\epsilon$-stationary point of the bilevel problem, STABLE requires ${\cal O}(\epsilon^{-2})$ samples in total; and to achieve an $\epsilon$-optimal solution in the strongly convex case, STABLE requires ${\cal O}(\epsilon^{-1})$ samples. To the best of our knowledge, this is the first bilevel optimization algorithm achieving the same order of sample complexity as the stochastic gradient descent method for the single-level stochastic optimization.

研究の動機と目的

• 二段階最適化手法が二重ループまたは二タイムスケール更新に依存するための非効率性を是正すること。
• 固定バッチサイズを維持し、複雑なスケジューリングを回避する単一ループアルゴリズムの開発。
• 単一段階最最適化における確率的勾配降下法と同等の最適なサンプル複雑度を達成すること。
• 機械学習分野におけるより効率的なハイパーパramータチューニングおよびメタラーニング応用の実現。

提案手法

• 二重ループや二タイムスケールダイナミクスを回避する単一ループ・単一タイムスケール更新ルールの提案。
• 最適化全体を通して固定バッチサイズを採用し、実装およびハイパーパramータチューニングの簡素化。
• 下位層の解の感度を活用した上位層勾配の新規推定器の導入。
• 下位層解のヘッセ行列の再帰的近似を用いて上位層更新の安定化。
• 二段階問題に特化したバリアンス低減機構の設計により収束性の向上。
• 総サンプル数𝒪(ε⁻²)でε-停留点に収束し、強い凸性がある場合には𝒪(ε⁻¹)のサンプル数でε-最適解に収束することを保証。

実験結果

リサーチクエスチョン

• RQ1 単一タイムスケールの二段階最適化手法は最適なサンプル複雑度を達成できるか？
• RQ2 二重ループや二タイムスケールアプローチと比較して、単一ループアルゴリズムはサンプル効率において優れているか？
• RQ3 提案手法は単一段階問題における確率的勾配降下法のサンプル複雑度と一致できるか？
• RQ4 提案されたSTABLE手法のε-停留点およびε-最適解を求めるための理論的サンプル複雑度は何か？
• RQ5 固定バッチ・単一ループ設計は、二段階最適化における収束性および安定性にどのように影響するか？

主な発見

• STABLEは、一般の二段階最適化問題において、ε-停留点を求める際の𝒪(ε⁻²)のサンプル複雑度を達成する。
• 強い凸性がある場合、STABLEはε-最適解を求める際の𝒪(ε⁻¹)のサンプル複雑度を達成する。
• STABLEのサンプル複雑度は、単一段階最適化における確率的勾配降下法と一致する。
• STABLEは、二重ループや二タイムスケール更新を一切用いず、最適なサンプル複雑度を達成する最初の二段階最適化手法である。
• 本手法は固定バッチサイズを維持し、単一ループで動作するため、実装およびハイパーパramータ管理が簡素化される。
• 理論的分析により、標準的な仮定の下で収束が保証され、適応的学習率や複雑なスケジューリングの必要がないことが確認された。