[論文レビュー] Lower Bounds and Accelerated Algorithms for Bilevel Optimization

Kaiyi Ji, Yingbin Liang|arXiv (Cornell University)|Feb 7, 2021

Sparse and Compressive Sensing Techniques参考文献 60被引用数 16

ひとこと要約

本稿は、強い凸-強い凸および凸-強い凸設定におけるバイレベル最適化の、これまでに知られていた最初の下界を確立し、バイレベル最適化が最小最大最適化よりも本質的に困難であることを証明している。また、勾配有界性の仮定を必要とせず、最適収束速度を達成する加速バイレベル最適化手法AccBiOを提案しており、定数条件数を持つ二次的内側問題において、対数要因を除いて下界に一致する。

ABSTRACT

Bilevel optimization has recently attracted growing interests due to its wide applications in modern machine learning problems. Although recent studies have characterized the convergence rate for several such popular algorithms, it is still unclear how much further these convergence rates can be improved. In this paper, we address this fundamental question from two perspectives. First, we provide the first-known lower complexity bounds of $\widetildeΩ(\frac{1}{\sqrt{μ_x}μ_y})$ and $\widetilde Ω\big(\frac{1}{\sqrtε}\min\{\frac{1}{μ_y},\frac{1}{\sqrt{ε^{3}}}\}\big)$ respectively for strongly-convex-strongly-convex and convex-strongly-convex bilevel optimizations. Second, we propose an accelerated bilevel optimizer named AccBiO, for which we provide the first-known complexity bounds without the gradient boundedness assumption (which was made in existing analyses) under the two aforementioned geometries. We also provide significantly tighter upper bounds than the existing complexity when the bounded gradient assumption does hold. We show that AccBiO achieves the optimal results (i.e., the upper and lower bounds match up to logarithmic factors) when the inner-level problem takes a quadratic form with a constant-level condition number. Interestingly, our lower bounds under both geometries are larger than the corresponding optimal complexities of minimax optimization, establishing that bilevel optimization is provably more challenging than minimax optimization.

研究の動機と目的

• バイレベル最適化の根本的計算限界を特定するため、タイトな下界を確立すること。
• バイレベル最適化が最小最大最適化よりも本質的に複雑であるかどうかという未解決の問いに答えること。
• 従来の解析で用いられる強い勾配有界性仮定に依存しない、加速されたバイレベルアルゴリズムを設計すること。
• 特に定数条件数を持つ二次的内側問題において、有利な幾何構造下で導出された下界と一致する最適収束速度を達成すること。

提案手法

• 敵対的構築技術を用いて下界を導出し、それぞれ強く凸-強く凸および凸-強く凸設定に対してΩ̃(1/(√μₓ μᵧ))およびΩ̃(1/(√ε min{1/μᵧ, 1/√ε³)))を確立する。
• Nesterov風の加速と適応的内側ループ解像度を統合した、新たなバイレベル最適化手法AccBiOを提案し、勾配有界性に依存しないようにする。
• 二重ループ構造を採用し、内側反復回数MおよびNを条件数と所望の精度に応じて適応的に選択する。
• 非滑らか性に対処するため、外側目的関数Φ(x)の滑らか化近似を導入し、修正されたリャプノフ関数を用いて加速収束を実現する。
• 勾配ノルムに関する仮定を避けるために、ハイパーハイパーバリアント推定誤差と外側目的関数の進捗を同時に制約する、新たな解析フレームワークを採用する。
• 再帰的誤差分解と外側ループにおける幾何的減衰を用いて対数要因を最適化し、最適な複雑度を達成する。

実験結果

リサーチクエスチョン

• RQ1 強く凸-強く凸および凸-強く凸設定におけるバイレベル最適化の最適計算複雑度は何か？
• RQ2 バイレベル最適化は最小最大最適化よりも本質的に計算的に困難であると証明できるか？
• RQ3 勾配有界性仮定なしに最適収束を達成する加速バイレベルアルゴリズムを設計できるか？
• RQ4 導出された下界は、既存の文献における上界とどのように比較されるか？
• RQ5 どのような条件下で、提案されたAccBiOアルゴリズムが下界と一致する最適複雑度を達成するか？

主な発見

• 本稿は、強く凸-強く凸ケースに対してÕ(1/(√μₓ μᵧ))、凸-強く凸ケースに対してÕ(1/(√ε min{1/μᵧ, 1/√ε³)))という、これまでに知られていた最初の下界を確立した。
• バイレベル最適化の下界は、最小最大最適化の最適複雑度を厳密に上回っており、バイレベル最適化が本質的に困難であることを証明した。
• AccBiOは、勾配有界性仮定を必要とせず、最適な収束複雑度を達成した。
• 定数条件数を持つ二次的内側問題において、AccBiOは下界に対数要因を除いて一致し、最適性を達成した。
• 勾配有界性仮定が成り立つ場合、AccBiOの上界複雑度は、従来のO(1/μᵧ⁶.⁷⁵ε⁰.⁷⁵)の結果よりも著しくタイトになった。
• 強く凸-強く凸ケースにおいて、AccBiOの総合的複雑度はÕ(√(L̃ᵧ/(μₓ μᵧ⁴)) log(poly(μₓ, μᵧ, U, Φ(x₀)−Φ(x*)))/ε)であり、対数要因を除いて下界と一致した。