[論文レビュー] Bilevel Optimization: Nonasymptotic Analysis and Faster Algorithms

Kaiyi Ji, Junjie Yang+1 more|arXiv (Cornell University)|Oct 15, 2020

Stochastic Gradient Optimization Techniques参考文献 10被引用数 11

ひとこと要約

本稿では、非凸強凸設定におけるバイレベル最適化に対して、非漸近的有限時間収束解析を提示し、ヤコビアンおよびヘッセ・ベクトル積を用いたサンプル効率の良いハイパーグラデント推定により、stocBiOアルゴリズムを提案する。ITDに基づく手法のための最初の収束レートを確立し、実用的なパラメータ選択とウォームスタートを用いることで、先行研究のAID解析を改善し、ハイパーパrameter最適化およびメタラーニングにおいて、既存手法と比較して順序的に良好な複雑度を示す。

ABSTRACT

Bilevel optimization has arisen as a powerful tool for many machine learning problems such as meta-learning, hyperparameter optimization, and reinforcement learning. In this paper, we investigate the nonconvex-strongly-convex bilevel optimization problem. For deterministic bilevel optimization, we provide a comprehensive finite-time convergence analysis for two popular algorithms respectively based on approximate implicit differentiation (AID) and iterative differentiation (ITD). For the AID-based method, we orderwisely improve the previous finite-time convergence analysis due to a more practical parameter selection as well as a warm start strategy, and for the ITD-based method we establish the first theoretical convergence rate. Our analysis also provides a quantitative comparison between ITD and AID based approaches. For stochastic bilevel optimization, we propose a novel algorithm named stocBiO, which features a sample-efficient hypergradient estimator using efficient Jacobian- and Hessian-vector product computations. We provide the finite-time convergence guarantee for stocBiO, and show that stocBiO outperforms the best known computational complexities orderwisely with respect to the condition number $\kappa$ and the target accuracy $\epsilon$. We further validate our theoretical results and demonstrate the efficiency of bilevel optimization algorithms by the experiments on meta-learning and hyperparameter optimization. Our code for stocBiO and its comparison to other algorithms is available online$^1$.

研究の動機と目的

• バイレベル最適化における反復微分（ITD）の有限時間収束保証の欠如に対処する。
• 実用的なパラメータ選択およびウォームスタート戦略を用いて、近似的 implicitly 微分（AID）の有限時間収束解析を改善する。
• 計算コストを低減するためのサンプル効率の良いハイパーグラデント推定器を、確率的バイレベル最適化用に開発する。
• 条件数κおよび目標精度εに改善された依存関係を示す、提案されたstocBiOアルゴリズムの有限時間収束保証を提供する。
• メタラーニングおよびハイパーパrameter最適化ベンチマークにおいて、理論的知見を実証的に検証する。

提案手法

• ハイパーグラデント推定に、ヤコビアンおよびヘッセ・ベクトル積の効率的計算を用いる、stocBiOと呼ばれる新しい確率的バイレベル最適化アルゴリズムを提案する。
• AIDに基づく手法の収束を加速するため、より良い初期点で初期化するウォームスタート戦略を導入する。
• 非凸強凸仮定の下で、AIDおよびITDに基づく手法の有限時間収束レートを導出する。
• 完全なヘッセ行列の計算を回避することで、分散と計算オーバーヘッドを低減する、サンプル効率の良いハイパーグラデント推定器を採用する。
• 二重ループ構造を採用し、内側のループで下位問題を解き、外側のループで推定されたハイパーグラデントを用いて上位のパラメータを更新する。
• 条件数κおよび精度εの観点で、先行研究と比較して順序的に改善された理論的収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸強凸設定下でのITDベースのバイレベル最適化手法の有限時間収束レートは何か？
• RQ2 ウォームスタートおよび実用的なパラメータ選択を用いた提案されたAIDベースの手法は、先行の有限時間解析をどのように改善するか？
• RQ3 確率的バイレベル最適化アルゴリズムは、κおよびεの観点で、既存手法よりも優れた計算複雑度を達成できるか？
• RQ4 stocBiOにおけるハイパーグラデント推定器のサンプル効率は、分散および計算コストの観点で、先行手法と比較してどうなるか？
• RQ5 stocBiOとベースラインアルゴリズムとの間で、収束速度と計算コストの定量的トレードオフは何か？

主な発見

• ITDベースの手法は、非凸強凸バイレベル最適化における最初の有限時間収束保証を達成する。
• ウォームスタートおよび実用的なパラメータ選択を用いたAIDベースの手法は、問題固有の定数に依存する部分を低減することで、先行の有限時間解析を改善する。
• stocBiOは、条件数κおよび目標精度εの観点で、既存手法の中でも最良のものと比較して、順序的に良好な計算複雑度を達成する。
• stocBiOで提案されたハイパーグラデント推定器は、完全なヘッセ行列の計算を回避することで、ヤコビアンおよびヘッセ・ベクトル積を活用したサンプル効率の良い計算を可能にする。
• メタラーニングおよびハイパーパラメータ最適化における実験結果から、stocBiOは収束速度およびサンプル効率の両面で、既存のアルゴリズムを上回ることが示された。
• 理論的解析により、AIDとITDアプローチの間で、収束速度と実装の複雑さのトレードオフを定量的に比較した。