[論文レビュー] BiAdam: Fast Adaptive Bilevel Optimization Methods

Feihu Huang, Li, Junyi+1 more|arXiv (Cornell University)|Jun 21, 2021

Stochastic Gradient Optimization Techniques参考文献 28被引用数 7

ひとこと要約

本稿では、非凸な外側目的関数と強く凸な内側目的関数を持つ確率的バイレベル最適化問題に対して、適応的学習率、モーメンタム、分散低減を統合した、新たな高速な適応的バイレベル最適化手法BiAdamを提案する。$ ilde{O}( au^{-4})$ のサンプル複雑度を達成し、加速版（VR-BiAdam）では $ ilde{O}( au^{-3})$ にまで向上し、既存の最良の複雑度と一致する。

ABSTRACT

Bilevel optimization recently has attracted increased interest in machine learning due to its many applications such as hyper-parameter optimization and meta learning. Although many bilevel methods recently have been proposed, these methods do not consider using adaptive learning rates. It is well known that adaptive learning rates can accelerate optimization algorithms. To fill this gap, in the paper, we propose a novel fast adaptive bilevel framework to solve stochastic bilevel optimization problems that the outer problem is possibly nonconvex and the inner problem is strongly convex. Our framework uses unified adaptive matrices including many types of adaptive learning rates, and can flexibly use the momentum and variance reduced techniques. In particular, we provide a useful convergence analysis framework for the bilevel optimization. Specifically, we propose a fast single-loop adaptive bilevel optimization (BiAdam) algorithm, which achieves a sample complexity of $ ilde{O}(ε^{-4})$ for finding an $ε$-stationary solution. Meanwhile, we propose an accelerated version of BiAdam algorithm (VR-BiAdam), which reaches the best known sample complexity of $ ilde{O}(ε^{-3})$. To the best of our knowledge, we first study the adaptive bilevel optimization methods with adaptive learning rates. Experimental results on data hyper-cleaning and hyper-representation learning tasks demonstrate the efficiency of our algorithms.

研究の動機と目的

• 標準最適化における収束速度の向上が知られている、バイレベル最適化における適応的学習率手法の不足に対処すること。
• バイレベル最適化問題に適応的行列、モーメンタム、分散低減を統合する統一フレームワークの構築。
• 非凸な外側目的関数と強く凸な内側目的関数の下で、適応的バイレベル最適化手法の収束解析フレームワークの確立。
• 適応的学習率を用いたバイレベル最適化における最先端のサンプル複雑度の達成。
• ハイパークリーニングおよびメタラーニングタスクにおける提案手法の効率性の実験的検証。

提案手法

• 外側勾配の分散の再帰的推定により更新される適応的行列 $A_t$ を用いて、$x$ および $y$ 方向の勾配をスケーリングする、統一された適応的行列を備えた単一ループの適応的バイレベルアルゴリズムであるBiAdamを提案。
• 分散低減技術を用いるVR-BiAdamという加速版を導入し、収束速度の向上を図る。
• バイレベル最適化構造内でのモーメンタムと適応的学習率の柔軟な統合を可能にする統一フレームワークを採用。
• 外側勾配の期待ノルムをバインドする新しい解析フレームワークを用いて収束保証を導出。
• $A_t$ と $B_t$ の適応的行列を用いて、$x$ および $y$ 方向の勾配をスケーリングし、$A_t$ は外側勾配の分散の再帰的推定により更新される。
• 更新ステップ $\gamma$ を用いたラインサーチに類似したステップを適用し、提案された条件下で安定性と収束性を確保する。

実験結果

リサーチクエスチョン

• RQ1 適応的学習率は、収束速度とサンプル効率の向上を図るために、バイレベル最適化に効果的に統合可能か？
• RQ2 モーメンタムおよび分散低減を備えた単一ループの適応的バイレベル手法の理論的サンプル複雑度は何か？
• RQ3 提案されたフレームワークは、既存のバイレベル最適化手法と比較して、収束速度およびサンプル複雑度において優れているか？
• RQ4 提案手法は、ハイパーパramータ最適化およびメタラーニングタスクで最先端の性能を達成できるか？
• RQ5 適応的行列および分散低減は、バイレベル最適化の安定性および収束性にどのような影響を与えるか？

主な発見

• BiAdamは、$ ilde{O}( au^{-4})$ のサンプル複雑度を達成し、先行の非適応的手法よりも優れている。
• 加速版であるVR-BiAdamは、既存の最良のサンプル複雑度 $ ilde{O}( au^{-3})$ を達成し、理論的下界と一致する。
• 収束解析により、リプシッツ連続性および強い凸性といった標準仮定の下で、適応的バイレベル最適化のための厳密なフレームワークが確立された。
• データハイパークリーニングおよびハイパーレプレゼンテーションラーニングにおける実験結果から、BiAdamおよびVR-BiAdamが既存手法を上回る収束速度と最終的性能を示した。
• 適応的行列と分散低減の導入により、ノイズの多い勾配推定に対しても安定的かつ高速な収束が達成された。
• 本手法は、適応的学習率を用いたバイレベル最適化を体系的かつ包括的に研究した最初の手法であり、文献における重要な空白を埋めた。