[论文解读] Lower Bounds and Accelerated Algorithms for Bilevel Optimization

Kaiyi Ji, Yingbin Liang|arXiv (Cornell University)|Feb 7, 2021

Sparse and Compressive Sensing Techniques参考文献 60被引用 16

一句话总结

本文建立了强凸-强凸和凸-强凸设定下双层优化的首个已知复杂度下界，证明双层优化比极小极大优化更具挑战性。本文提出 AccBiO，一种加速双层优化算法，其在无需梯度有界性假设下实现了最优收敛速率，且在条件数恒定的二次型内层问题中，复杂度与下界仅相差对数因子。

ABSTRACT

Bilevel optimization has recently attracted growing interests due to its wide applications in modern machine learning problems. Although recent studies have characterized the convergence rate for several such popular algorithms, it is still unclear how much further these convergence rates can be improved. In this paper, we address this fundamental question from two perspectives. First, we provide the first-known lower complexity bounds of $\widetildeΩ(\frac{1}{\sqrt{μ_x}μ_y})$ and $\widetilde Ω\big(\frac{1}{\sqrtε}\min\{\frac{1}{μ_y},\frac{1}{\sqrt{ε^{3}}}\}\big)$ respectively for strongly-convex-strongly-convex and convex-strongly-convex bilevel optimizations. Second, we propose an accelerated bilevel optimizer named AccBiO, for which we provide the first-known complexity bounds without the gradient boundedness assumption (which was made in existing analyses) under the two aforementioned geometries. We also provide significantly tighter upper bounds than the existing complexity when the bounded gradient assumption does hold. We show that AccBiO achieves the optimal results (i.e., the upper and lower bounds match up to logarithmic factors) when the inner-level problem takes a quadratic form with a constant-level condition number. Interestingly, our lower bounds under both geometries are larger than the corresponding optimal complexities of minimax optimization, establishing that bilevel optimization is provably more challenging than minimax optimization.

研究动机与目标

• 通过建立紧致的复杂度下界，确定双层优化的根本计算极限。
• 解决双层优化是否可证明比极小极大优化更复杂的开放问题。
• 设计一种加速双层算法，其收敛性不依赖于先前分析中使用的强梯度有界性假设。
• 在有利几何结构下（特别是条件数恒定的二次型内层问题），实现与推导出的下界相匹配的最优收敛速率。

提出的方法

• 使用对抗性构造技术推导复杂度下界，分别在强凸-强凸和凸-强凸设定下建立 Ω̃(1/(√μₓ μᵧ)) 和 Ω̃(1/(√ε min{1/μᵧ, 1/√ε³))) 的下界。
• 提出 AccBiO，一种新颖的双层优化算法，结合 Nesterov 风格加速与自适应内层求解，避免对梯度有界性的依赖。
• 采用双层循环结构，其中内层迭代次数 M 和 N 根据条件数和期望精度自适应选择。
• 引入外层目标 Φ(x) 的平滑近似以处理非光滑性，并通过改进的李雅普诺夫函数实现加速收敛。
• 提出一种新颖的分析框架，同时有界超梯度估计误差与外层目标进展，避免对梯度范数的假设。
• 通过递归误差分解与外层循环中的几何衰减，实现对数因子的紧致化，从而达到最优复杂度。

实验结果

研究问题

• RQ1 在强凸-强凸与凸-强凸设定下，双层优化的最优计算复杂度是什么？
• RQ2 双层优化是否可证明比极小极大优化更具计算挑战性？
• RQ3 能否设计一种加速双层算法，使其在无需梯度有界性假设下实现最优收敛？
• RQ4 所推导的下界与文献中现有上界相比如何？
• RQ5 在何种条件下，所提出的 AccBiO 算法能实现与下界匹配的最优复杂度？

主要发现

• 本文首次建立了强凸-强凸情形下 Õ(1/(√μₓ μᵧ)) 的复杂度下界，以及凸-强凸情形下 Õ(1/(√ε min{1/μᵧ, 1/√ε³))) 的复杂度下界。
• 双层优化的下界严格大于极小极大优化的最优复杂度，证明双层优化具有可证明的更高计算难度。
• AccBiO 在无需梯度有界性假设下实现了最优收敛复杂度，而该假设在以往分析中是必需的。
• 对于条件数恒定的二次型内层问题，AccBiO 的复杂度与下界仅相差对数因子，实现了最优性。
• 当梯度有界性假设成立时，AccBiO 的上界复杂度显著优于以往结果，改进了现有 O(1/μᵧ⁶.⁷⁵ε⁰.⁷⁵) 的界。
• 在强凸-强凸情形下，AccBiO 的总复杂度为 Õ(√(L̃ᵧ/(μₓ μᵧ⁴)) log(poly(μₓ, μᵧ, U, Φ(x₀)−Φ(x*)))/ε)，与下界仅相差对数因子。