[论文解读] A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm for Bilevel Optimization.

Prashant Khanduri, Siliang Zeng+4 more|arXiv (Cornell University)|Feb 15, 2021

Stochastic Gradient Optimization Techniques参考文献 31被引用 8

一句话总结

该论文提出了一种用于无约束双层优化的动量辅助单时标随机逼近（MSTSA）算法，适用于下层问题为强凸的情况。通过使用随机动量梯度估计器，MSTSA 避免了双时标或双重循环方案，实现了非凸上层目标的 𝒪(ε⁻²) 和强凸上层目标的 𝒪(ε⁻¹) 最优迭代复杂度，与随机双层优化中已知的最佳保证一致。

ABSTRACT

This paper proposes a new algorithm -- the Momentum-assisted Single-timescale Stochastic Approximation (MSTSA) -- for tackling unconstrained bilevel optimization problems. We focus on bilevel problems where the lower level subproblem is strongly-convex. Unlike prior works which rely on two timescale or double loop techniques that track the optimal solution to the lower level subproblem, we design a stochastic momentum assisted gradient estimator for the upper level subproblem's updates. The latter allows us to gradually control the error in stochastic gradient updates due to inaccurate solution to the lower level subproblem. We show that if the upper objective function is smooth but possibly non-convex (resp. strongly-convex), MSTSA requires $\mathcal{O}(\epsilon^{-2})$ (resp. $\mathcal{O}(\epsilon^{-1})$) iterations (each using constant samples) to find an $\epsilon$-stationary (resp. $\epsilon$-optimal) solution. This achieves the best-known guarantees for stochastic bilevel problems. We validate our theoretical results by showing the efficiency of the MSTSA algorithm on hyperparameter optimization and data hyper-cleaning problems.

研究动机与目标

• 解决现有双层优化方法依赖双时标或双重循环方案所导致的高计算成本问题。
• 提出一种单时标方法，在无需精确追踪下层最优解的情况下仍保持收敛保证。
• 在随机双层问题中，为非凸和强凸上层目标均实现最优迭代复杂度。
• 通过减少嵌套循环和每轮迭代的多次梯度计算，提升实际效率。
• 通过在超参数优化和数据超清洗任务上的实证评估，验证理论改进的有效性。

提出的方法

• 为上层目标提出一种随机动量辅助梯度估计器，以减少因下层解近似不准确带来的误差。
• 设计一种单时标更新规则，同时优化上层和下层变量，无需分离的收敛时标。
• 利用下层问题的强凸性，对上层目标的随机梯度估计误差进行有界控制。
• 引入动量项，以在存在噪声梯度估计的情况下稳定并加速上层更新。
• 每轮迭代使用固定样本量，确保可扩展性和实际效率。
• 在光滑性和强凸性假设下进行形式化收敛分析，推导出最优迭代复杂度边界。

实验结果

研究问题

• RQ1 是否能够设计一种单时标随机算法，在不依赖双时标或双重循环机制的前提下，实现双层优化中的最优收敛速率？
• RQ2 在梯度估计器中引入动量，如何影响双层随机逼近中的收敛行为与误差控制？
• RQ3 当上层目标为光滑但可能非凸时，单时标方法的理论迭代复杂度是多少？
• RQ4 在随机设置下，所提方法能否在强凸上层目标下保持最优收敛性？
• RQ5 该算法在实际双层学习任务（如超参数调优和数据清洗）中的表现如何？

主要发现

• 当上层目标为光滑但可能非凸时，MSTSA 实现了寻找 ε-驻点的迭代复杂度 𝒪(ε⁻²)。
• 对于强凸上层目标，MSTSA 达到了 ε-最优解的最优迭代复杂度 𝒪(ε⁻¹)。
• 该算法在随机双层优化中达到了已知的最佳理论保证，优于以往的双时标或双重循环方法。
• 实证结果表明，MSTSA 在超参数优化和数据超清洗任务中表现出高效性，验证了其实际优势。
• 动量辅助梯度估计器能有效控制因下层解不准确带来的误差，从而实现稳定且快速的收敛。
• 该方法每轮迭代保持恒定的样本复杂度，提升了可扩展性，并增强了在大规模场景下的实际部署能力。