[论文解读] A Single-Timescale Stochastic Bilevel Optimization Method

Tianyi Chen, Yuejiao Sun+1 more|arXiv (Cornell University)|Feb 9, 2021

Stochastic Gradient Optimization Techniques参考文献 29被引用 26

一句话总结

本文提出 STABLE，一种单循环、单时间尺度的随机双层优化方法，可在一般双层问题中实现寻找 ε-驻点的最优样本复杂度 𝒪(ε⁻²)，在强凸情况下实现寻找 ε-最优解的 𝒪(ε⁻¹) 样本复杂度——与单层问题中随机梯度下降的效率相当。

ABSTRACT

Stochastic bilevel optimization generalizes the classic stochastic optimization from the minimization of a single objective to the minimization of an objective function that depends the solution of another optimization problem. Recently, stochastic bilevel optimization is regaining popularity in emerging machine learning applications such as hyper-parameter optimization and model-agnostic meta learning. To solve this class of stochastic optimization problems, existing methods require either double-loop or two-timescale updates, which are sometimes less efficient. This paper develops a new optimization method for a class of stochastic bilevel problems that we term Single-Timescale stochAstic BiLevEl optimization (STABLE) method. STABLE runs in a single loop fashion, and uses a single-timescale update with a fixed batch size. To achieve an $\epsilon$-stationary point of the bilevel problem, STABLE requires ${\cal O}(\epsilon^{-2})$ samples in total; and to achieve an $\epsilon$-optimal solution in the strongly convex case, STABLE requires ${\cal O}(\epsilon^{-1})$ samples. To the best of our knowledge, this is the first bilevel optimization algorithm achieving the same order of sample complexity as the stochastic gradient descent method for the single-level stochastic optimization.

研究动机与目标

• 为解决现有双层优化方法依赖双循环或双时间尺度更新所导致的低效问题。
• 开发一种单循环算法，保持固定小批量大小，避免复杂的调度策略。
• 实现与单层优化中随机梯度下降相当的最优样本复杂度。
• 在机器学习中实现更高效的超参数调优与元学习应用。

提出的方法

• 提出一种单循环、单时间尺度的更新规则，避免双循环或双时间尺度的动力学。
• 在整个优化过程中采用固定小批量大小，简化实现与超参数调优。
• 提出一种新型上层梯度估计器，利用下层解对参数的敏感性。
• 使用下层解的 Hessian 矩阵的递归近似以稳定上层更新。
• 设计一种专为双层问题定制的方差减少机制，以提升收敛性。
• 确保在总样本数为 𝒪(ε⁻²) 时收敛至 ε-驻点，在强凸情况下以 𝒪(ε⁻¹) 样本数收敛至 ε-最优解。

实验结果

研究问题

• RQ1 单时间尺度的双层优化方法能否实现最优样本复杂度？
• RQ2 单循环算法在样本效率方面是否优于双循环或双时间尺度方法？
• RQ3 所提方法能否在样本复杂度上匹配单层问题中随机梯度下降的性能？
• RQ4 所提 STABLE 方法在寻找 ε-驻点与 ε-最优解时的理论样本复杂度是多少？
• RQ5 固定小批量、单循环的设计如何影响双层优化中的收敛性与稳定性？

主要发现

• STABLE 在一般双层问题中实现寻找 ε-驻点的 𝒪(ε⁻²) 样本复杂度。
• 在强凸情况下，STABLE 实现寻找 ε-最优解的 𝒪(ε⁻¹) 样本复杂度。
• STABLE 的样本复杂度与单层随机优化中随机梯度下降的性能相当。
• STABLE 是首个在不使用双循环或双时间尺度更新的情况下实现此最优样本复杂度的双层优化方法。
• 该方法保持固定小批量大小，并在单循环中运行，简化了实现与超参数管理。
• 理论分析证实了在标准假设下的收敛性，无需自适应学习率或复杂调度。