[论文解读] Bilevel Optimization: Nonasymptotic Analysis and Faster Algorithms

Kaiyi Ji, Junjie Yang+1 more|arXiv (Cornell University)|Oct 15, 2020

Stochastic Gradient Optimization Techniques参考文献 10被引用 11

一句话总结

该论文针对非凸-强凸设置下的双层优化问题，提出了非渐近的有限时间收敛性分析，提出了一种基于雅可比矩阵和海森向量积的样本高效超梯度估计方法，即stocBiO算法。该工作首次建立了基于ITD方法的收敛速率，并通过实用的参数选择与热启动策略改进了先前的AID分析，展示了在超参数优化与元学习中，相较于现有方法具有阶次更优的复杂度。

ABSTRACT

Bilevel optimization has arisen as a powerful tool for many machine learning problems such as meta-learning, hyperparameter optimization, and reinforcement learning. In this paper, we investigate the nonconvex-strongly-convex bilevel optimization problem. For deterministic bilevel optimization, we provide a comprehensive finite-time convergence analysis for two popular algorithms respectively based on approximate implicit differentiation (AID) and iterative differentiation (ITD). For the AID-based method, we orderwisely improve the previous finite-time convergence analysis due to a more practical parameter selection as well as a warm start strategy, and for the ITD-based method we establish the first theoretical convergence rate. Our analysis also provides a quantitative comparison between ITD and AID based approaches. For stochastic bilevel optimization, we propose a novel algorithm named stocBiO, which features a sample-efficient hypergradient estimator using efficient Jacobian- and Hessian-vector product computations. We provide the finite-time convergence guarantee for stocBiO, and show that stocBiO outperforms the best known computational complexities orderwisely with respect to the condition number $\kappa$ and the target accuracy $\epsilon$. We further validate our theoretical results and demonstrate the efficiency of bilevel optimization algorithms by the experiments on meta-learning and hyperparameter optimization. Our code for stocBiO and its comparison to other algorithms is available online$^1$.

研究动机与目标

• 解决双层优化中迭代微分（ITD）方法缺乏有限时间收敛性保证的问题。
• 通过实用的参数选择与热启动策略，改进基于近似隐式微分（AID）方法的有限时间收敛性分析。
• 为随机双层优化开发一种样本高效的超梯度估计器，以降低计算成本。
• 为所提出的stocBiO算法提供有限时间收敛性保证，且对条件数κ和目标精度ε的依赖关系得到改善。
• 在元学习与超参数优化基准上，通过实证验证理论结果。

提出的方法

• 提出stocBiO，一种新颖的随机双层优化算法，利用雅可比矩阵与海森向量积的高效计算实现超梯度估计。
• 引入一种热启动策略，通过初始化于更优的起始点，加速基于AID方法的收敛速度。
• 在非凸-强凸假设下，推导出基于AID与ITD方法的有限时间收敛速率。
• 采用一种样本高效的超梯度估计器，避免完整海森矩阵的计算，从而降低方差与计算开销。
• 采用两重循环结构：内层循环求解下层问题，外层循环使用估计的超梯度更新上层参数。
• 建立的理论收敛速率在条件数κ与精度ε方面，相较于先前工作实现了阶次上的改进。

实验结果

研究问题

• RQ1 在非凸-强凸设置下，基于ITD的双层优化方法的有限时间收敛速率是多少？
• RQ2 所提出的结合热启动与实用参数选择的AID方法，相较于先前的有限时间分析有何改进？
• RQ3 在条件数κ与精度ε方面，随机双层优化算法能否实现比现有方法更优的计算复杂度？
• RQ4 stocBiO中所提出的超梯度估计器在方差与计算效率方面，相较于先前方法有何差异？
• RQ5 与基线算法相比，stocBiO在收敛速度与计算成本之间的定量权衡如何？

主要发现

• 基于ITD的方法首次在非凸-强凸双层优化中实现了有限时间收敛速率的保证。
• 结合热启动与实用参数选择的AID方法，通过降低对问题特定常数的依赖，改进了先前的有限时间分析。
• stocBiO在条件数κ与目标精度ε方面，实现了相较于最优已知方法阶次更优的计算复杂度。
• 所提出的stocBiO超梯度估计器通过利用雅可比矩阵与海森向量积，实现了无需完整海森矩阵计算的样本高效计算。
• 在元学习与超参数优化任务上的实证结果表明，stocBiO在收敛速度与样本效率方面均优于现有算法。
• 理论分析提供了AID与ITD方法之间的定量比较，揭示了收敛速率与实现复杂度之间的权衡。