[論文レビュー] A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm for Bilevel Optimization.

Prashant Khanduri, Siliang Zeng+4 more|arXiv (Cornell University)|Feb 15, 2021

Stochastic Gradient Optimization Techniques参考文献 31被引用数 8

ひとこと要約

本稿では、強い凸性を持つ下位問題を伴う非制約双層最適化のための、モーメンタム支援の単一時定数確率近似（MSTSA）アルゴリズムを提案する。確率的モーメンタム勾配推定器を用いることで、二時定数または二重ループスキームを回避し、非凸上位目的関数では𝒪(ε⁻²)、強く凸な上位目的関数では𝒪(ε⁻¹)の最適な反復複雑度を達成する。これは、確率的双層最適化分野で知られている最良の保証と一致する。

ABSTRACT

This paper proposes a new algorithm -- the Momentum-assisted Single-timescale Stochastic Approximation (MSTSA) -- for tackling unconstrained bilevel optimization problems. We focus on bilevel problems where the lower level subproblem is strongly-convex. Unlike prior works which rely on two timescale or double loop techniques that track the optimal solution to the lower level subproblem, we design a stochastic momentum assisted gradient estimator for the upper level subproblem's updates. The latter allows us to gradually control the error in stochastic gradient updates due to inaccurate solution to the lower level subproblem. We show that if the upper objective function is smooth but possibly non-convex (resp. strongly-convex), MSTSA requires $\mathcal{O}(\epsilon^{-2})$ (resp. $\mathcal{O}(\epsilon^{-1})$) iterations (each using constant samples) to find an $\epsilon$-stationary (resp. $\epsilon$-optimal) solution. This achieves the best-known guarantees for stochastic bilevel problems. We validate our theoretical results by showing the efficiency of the MSTSA algorithm on hyperparameter optimization and data hyper-cleaning problems.

研究の動機と目的

• 二時定数または二重ループスキームに依存する従来の双層最適化手法における高い計算コストの課題に対処すること。
• 下位問題の最適解の正確な追跡を必要とせず、収束保証を維持する単一時定数アプローチを開発すること。
• 確率的双層最適化問題において、非凸および強く凸な上位目的関数の両方に対して最適な反復複雑度を達成すること。
• 反復ごとのネストドループや複数の勾配評価に依存するのを減らすことで、実用的効率を向上させること。
• ハイパーパramータ最適化およびデータハイパークリーニングタスクにおける理論的改善を実証的に検証すること。

提案手法

• 下位問題の近似解に起因する誤差を低減するため、上位目的関数のための確率的モーメンタム支援勾配推定器を提案する。
• 上位および下位変数を別々の収束時定数を持たずに同時に最適化する、単一時定数の更新ルールを設計する。
• 下位問題の強い凸性を活用して、上位目的関数の確率的勾配推定値における誤差をバインドする。
• ノイズの多い勾配推定値にもかかわらず、上位更新の収束を安定化・加速するためのモーメンタム項を導入する。
• 反復ごとに一定のサンプルサイズを用いることで、スケーラビリティと実用的効率を確保する。
• 滑らかさおよび強い凸性の仮定の下で収束解析を形式化し、最適な反復複雑度の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 二時定数または二重ループ機構に依存しない単一時定数確率アルゴリズムは、双層最適化において最適な収束速度を達成できるか？
• RQ2 勾配推定器にモーメンタムを組み込むことで、双層確率近似における収束行動と誤差制御にどのような影響を与えるか？
• RQ3 上位目的関数が滑らかであるが、非凸である可能性がある場合、単一時定数手法の理論的反復複雑度は何か？
• RQ4 提案手法は、確率的設定下で強く凸な上位目的関数に対しても最適な収束を維持できるか？
• RQ5 ハイパーパramータチューニングやデータクリーニングといった実用的双層学習タスクにおいて、アルゴリズムはどのように性能を発揮するか？

主な発見

• 上位目的関数が滑らかであるが、非凸である場合、MSTSAはε-停留点を求める反復複雑度𝒪(ε⁻²)を達成する。
• 強く凸な上位目的関数の場合、MSTSAはε-最適解を求める最適な反復複雑度𝒪(ε⁻¹)を達成する。
• アルゴリズムは、確率的双層最適化分野で知られている最良の理論的保証に一致し、先行する二時定数または二重ループ手法を上回る。
• 実験的結果により、MSTSAがハイパーパramータ最適化およびデータハイパークリーニングにおいて高い効率を発揮することが示され、実用的利点が検証された。
• モーメンタム支援勾配推定器は、不正確な下位問題の解に起因する誤差を効果的に制御し、安定的かつ高速な収束を可能にする。
• 本手法は反復ごとに一定のサンプル複雑度を維持するため、大規模な環境におけるスケーラビリティおよび実用的導入を強化する。