[論文レビュー] Bilevel Optimization: Convergence Analysis and Enhanced Design

Kaiyi Ji, Junjie Yang+1 more|arXiv (Cornell University)|Oct 15, 2020

Stochastic processes and financial applications被引用数 32

ひとこと要約

この論文は決定論的 ITD- および AID-ベースの手法の非凸-強凸のビリーフ最適化の統一分析を提供し、サンプル効率の良い確率的手法（stocBiO）を導入して収束保証を改善する。

ABSTRACT

Bilevel optimization has arisen as a powerful tool for many machine learning problems such as meta-learning, hyperparameter optimization, and reinforcement learning. In this paper, we investigate the nonconvex-strongly-convex bilevel optimization problem. For deterministic bilevel optimization, we provide a comprehensive convergence rate analysis for two popular algorithms respectively based on approximate implicit differentiation (AID) and iterative differentiation (ITD). For the AID-based method, we orderwisely improve the previous convergence rate analysis due to a more practical parameter selection as well as a warm start strategy, and for the ITD-based method we establish the first theoretical convergence rate. Our analysis also provides a quantitative comparison between ITD and AID based approaches. For stochastic bilevel optimization, we propose a novel algorithm named stocBiO, which features a sample-efficient hypergradient estimator using efficient Jacobian- and Hessian-vector product computations. We provide the convergence rate guarantee for stocBiO, and show that stocBiO outperforms the best known computational complexities orderwisely with respect to the condition number $κ$ and the target accuracy $ε$. We further validate our theoretical results and demonstrate the efficiency of bilevel optimization algorithms by the experiments on meta-learning and hyperparameter optimization.

研究の動機と目的

• ITD-BiO および AID-BiO を用いた決定論的ビリーフ最適化の収束率理論をより鋭く開発する。
• 改善された複雑さでよりサンプル効率の良い確率的ビリーフ最適化器(stocBiO)を提案する。
• ITD-およびAIDベースのアプローチを比較し、計算トレードオフを定量化する。
• 理論をメタ学習とハイパーパラメータ最適化へ適用し性能を検証する。

提案手法

• 内側ループと外側ループの更新を伴う非凸-強凸ビリーフ問題を分析する。
• 近似的暗黙微分(AID)と反復微分(ITD)を用いてハイパージャイアント推定量を形成する。
• ウォームスタート内ループと外側ループ追跡を導入して複雑さを改善する。
• stocBiO のノイマン級数ベースの確率的ハイパージャイアント推定量を開発する。
• 決定論的 (AID-BiO, ITD-BiO) および確率的 (stocBiO) 設定の複雑さ保証を提供する。
• 先行研究より条件数と精度の依存性の改善を示す。

実験結果

リサーチクエスチョン

• RQ1 非凸-強凸ビリーフ問題における AID-BiO と ITD-BiO の非漸近的収束率はどのくらいか？
• RQ2 ウォームスタートと内ループ追跡は収束と計算コストにどう影響するか？
• RQ3 ノイマン級数ベースのハイパージャイアント推定を用いた確率的ビリーフ最適化器は従来法よりサンプルと計算効率を改善できるか？
• RQ4 提案手法はメタ学習とハイパーパラメータ最適化タスクで具体的な改善を提供するか？

主な発見

• AID-BiO は先行研究と比較して勾配、ヤコビ行列、ヘシアンベクトル積の複雑さを改善している。
• ITD-BiO は収束率が証明され、AID-BiO との直接的な比較を可能にしている。
• stocBiO アルゴリズムは確率的ビリーフ最適化の複雑さ保証を上回り、主要指標で既存手法を上回る。
• 統一的な分析は、AID-およびITDベースの手法が、条件数に結びつく異なる計算的トレードオフを持つことを示している。
• メタ学習とハイパーパラメータ最適化の実験が理論的改善と効率向上を検証する。