[论文解读] Bilevel Optimization: Convergence Analysis and Enhanced Design

Kaiyi Ji, Junjie Yang+1 more|arXiv (Cornell University)|Oct 15, 2020

Stochastic processes and financial applications被引用 32

一句话总结

本文为确定性基于 ITD 和 AID 的方法提供统一的非凸-强凸双层优化分析，并引入一种样本高效的随机方法 (stocBiO)，具有改进的收敛保证。

ABSTRACT

Bilevel optimization has arisen as a powerful tool for many machine learning problems such as meta-learning, hyperparameter optimization, and reinforcement learning. In this paper, we investigate the nonconvex-strongly-convex bilevel optimization problem. For deterministic bilevel optimization, we provide a comprehensive convergence rate analysis for two popular algorithms respectively based on approximate implicit differentiation (AID) and iterative differentiation (ITD). For the AID-based method, we orderwisely improve the previous convergence rate analysis due to a more practical parameter selection as well as a warm start strategy, and for the ITD-based method we establish the first theoretical convergence rate. Our analysis also provides a quantitative comparison between ITD and AID based approaches. For stochastic bilevel optimization, we propose a novel algorithm named stocBiO, which features a sample-efficient hypergradient estimator using efficient Jacobian- and Hessian-vector product computations. We provide the convergence rate guarantee for stocBiO, and show that stocBiO outperforms the best known computational complexities orderwisely with respect to the condition number $κ$ and the target accuracy $ε$. We further validate our theoretical results and demonstrate the efficiency of bilevel optimization algorithms by the experiments on meta-learning and hyperparameter optimization.

研究动机与目标

• 使用 ITD-BiO 和 AID-BiO 开发更尖锐的确定性双层优化收敛率理论。
• 提出一个更具样本效率的随机双层优化器（stocBiO），具有改进的复杂度。
• 比较基于 ITD 与 AID 的方法并量化它们的计算权衡。
• 将该理论应用于元学习和超参数优化以验证性能。

提出的方法

• 对具有内循环和外循环更新的非凸-强凸双层问题进行分析。
• 使用近似隐式微分（AID）和迭代微分（ITD）来构造超梯度估计。
• 引入内循环和外循环的暖启动追踪以提高复杂度。
• 为 stocBiO 开发基于 Neumann级数的随机超梯度估计。
• 为确定性（AID-BiO、ITD-BiO）和随机（stocBiO）设置提供复杂度保证。
• 展示在条件数和精度方面对先前工作的改进依赖性。

实验结果

研究问题

• RQ1 在非凸-强凸双层问题中，AID-BiO 与 ITD-BiO 的非渐近收敛率是多少？
• RQ2 暖启动和内循环追踪如何影响收敛性与计算成本？
• RQ3 基于 Neumann 级数的超梯度估计的随机双层优化器能否在样本和计算效率方面比以往方法更优？
• RQ4 所提出的方法在元学习和超参数优化任务中是否提供了具体改进？

主要发现

• AID-BiO 在梯度、雅可比-向量积和 Hessian-向量积的复杂度方面相比先前工作有所改进。
• ITD-BiO 在带有已证收敛率的分析中，可以与 AID-BiO 直接比较。
• stocBiO 算法在随机双层优化方面获得了优越的复杂度保证，在关键指标上优于现有方法。
• 统一分析表明基于 AID 与 ITD 的方法在计算权衡方面与条件数相关地有显著差异。
• 在元学习和超参数优化中的实验验证了理论改进和效率提升。