[论文解读] BiAdam: Fast Adaptive Bilevel Optimization Methods

Feihu Huang, Li, Junyi+1 more|arXiv (Cornell University)|Jun 21, 2021

Stochastic Gradient Optimization Techniques参考文献 28被引用 7

一句话总结

本文提出 BiAdam，一种新型快速自适应双层优化方法，整合了自适应学习率、动量和方差减少技术，适用于具有非凸外目标和强凸内目标的随机双层优化问题。该方法在寻找 ϵ-驻立解时达到样本复杂度 $ ilde{O}( au^{-4})$，其加速变体（VR-BiAdam）达到 $ ilde{O}( au^{-3})$，与目前已知的最佳复杂度相匹配。

ABSTRACT

Bilevel optimization recently has attracted increased interest in machine learning due to its many applications such as hyper-parameter optimization and meta learning. Although many bilevel methods recently have been proposed, these methods do not consider using adaptive learning rates. It is well known that adaptive learning rates can accelerate optimization algorithms. To fill this gap, in the paper, we propose a novel fast adaptive bilevel framework to solve stochastic bilevel optimization problems that the outer problem is possibly nonconvex and the inner problem is strongly convex. Our framework uses unified adaptive matrices including many types of adaptive learning rates, and can flexibly use the momentum and variance reduced techniques. In particular, we provide a useful convergence analysis framework for the bilevel optimization. Specifically, we propose a fast single-loop adaptive bilevel optimization (BiAdam) algorithm, which achieves a sample complexity of $ ilde{O}(ε^{-4})$ for finding an $ε$-stationary solution. Meanwhile, we propose an accelerated version of BiAdam algorithm (VR-BiAdam), which reaches the best known sample complexity of $ ilde{O}(ε^{-3})$. To the best of our knowledge, we first study the adaptive bilevel optimization methods with adaptive learning rates. Experimental results on data hyper-cleaning and hyper-representation learning tasks demonstrate the efficiency of our algorithms.

研究动机与目标

• 为解决双层优化中缺乏自适应学习率方法的问题，因为此类方法在标准优化中已知可加速收敛。
• 开发一个统一框架，将自适应矩阵、动量和方差减少整合到双层优化问题中。
• 建立在非凸外目标和强凸内目标条件下，对自适应双层优化方法的收敛性分析框架。
• 在自适应学习率下实现双层优化的最先进样本复杂度。
• 在超参数清洗和超表示学习任务上，通过实验验证所提方法的效率。

提出的方法

• 提出 BiAdam，一种使用统一自适应矩阵的单循环自适应双层算法，以支持多种自适应学习率。
• 引入 VR-BiAdam，一种利用方差减少技术的加速变体，以提升收敛速度。
• 采用统一框架，使动量和自适应学习率能灵活整合到双层优化结构中。
• 通过一种新颖的分析框架推导收敛保证，该框架界定了外梯度期望范数。
• 使用自适应矩阵 $A_t$ 和 $B_t$ 对 $x$ 和 $y$ 方向的梯度进行缩放，其中 $A_t$ 通过递归估计外梯度方差进行更新。
• 采用类似线搜索的步骤，使用 $\gamma$ 更新 $x_t$，在所提条件下确保稳定性和收敛性。

实验结果

研究问题

• RQ1 自适应学习率能否在双层优化中有效集成，以提升收敛速度和样本效率？
• RQ2 结合动量和方差减少的单循环自适应双层方法的理论样本复杂度是多少？
• RQ3 与现有双层优化方法相比，所提框架在收敛速度和样本复杂度方面表现如何？
• RQ4 所提方法能否在超参数优化和元学习任务中实现最先进性能？
• RQ5 自适应矩阵和方差减少对双层优化的稳定性和收敛性有何影响？

主要发现

• BiAdam 在寻找 $\epsilon$-驻立解时达到 $\tilde{O}(\epsilon^{-4})$ 的样本复杂度，优于先前的非自适应方法。
• 加速变体 VR-BiAdam 达到目前已知的最佳样本复杂度 $\tilde{O}(\epsilon^{-3})$，与理论下界一致。
• 收敛性分析在标准假设（如利普希茨连续性和强凸性）下，为自适应双层优化建立了严谨的框架。
• 在数据超清洗和超表示学习任务上的实验结果表明，BiAdam 和 VR-BiAdam 在收敛速度和最终性能上均优于现有方法。
• 自适应矩阵和方差减少的使用可实现稳定且快速的收敛，即使在梯度估计存在噪声的情况下亦然。
• 该方法是首个系统研究具有自适应学习率的自适应双层优化的工作，填补了文献中的关键空白。