[论文解读] Enhanced Bilevel Optimization via Bregman Distance

Feihu Huang, Li, Junyi+2 more|arXiv (Cornell University)|Jul 26, 2021

Stochastic Gradient Optimization Techniques参考文献 29被引用 4

一句话总结

本文提出了 BiO-BreD、SBiO-BreD 和 ASBiO-BreD——三种新颖的双层优化方法，利用 Bregman 距离求解具有非光滑正则化的非凸-强凸问题。这些方法在计算复杂度方面表现更优，尤其降低了对条件数 κ 和目标精度 ϵ 的依赖，在数据超清洗和超表示学习任务中优于先前工作。

ABSTRACT

Bilevel optimization has been recently used in many machine learning problems such as hyperparameter optimization, policy optimization, and meta learning. Although many bilevel optimization methods have been proposed, they still suffer from the high computational complexities and do not consider the more general bilevel problems with nonsmooth regularization. In the paper, thus, we propose a class of enhanced bilevel optimization methods with using Bregman distance to solve bilevel optimization problems, where the outer subproblem is nonconvex and possibly nonsmooth, and the inner subproblem is strongly convex. Specifically, we propose a bilevel optimization method based on Bregman distance (BiO-BreD) to solve deterministic bilevel problems, which achieves a lower computational complexity than the best known results. Meanwhile, we also propose a stochastic bilevel optimization method (SBiO-BreD) to solve stochastic bilevel problems based on stochastic approximated gradients and Bregman distance. Moreover, we further propose an accelerated version of SBiO-BreD method (ASBiO-BreD) using the variance-reduced technique, which can achieve a lower computational complexity than the best known computational complexities with respect to condition number $κ$ and target accuracy $ε$ for finding an $ε$-stationary point. We conduct data hyper-cleaning task and hyper-representation learning task to demonstrate that our new algorithms outperform related bilevel optimization approaches.

研究动机与目标

• 解决具有非光滑正则化的非凸-强凸问题在双层优化中的高计算复杂度问题。
• 将现有双层优化方法扩展至处理一般非光滑正则化项（如 ℓ1-范数）。
• 为在不确定性和噪声梯度条件下的双层问题开发高效的概率和加速变体。
• 实现更优的收敛速率，同时降低对条件数 κ 和目标精度 ϵ 的依赖。
• 在真实世界机器学习任务（如数据超清洗和超表示学习）中展示卓越性能。

提出的方法

• 提出 BiO-BreD，一种使用 Bregman 距离正则化外层问题的确定性双层方法，以加速收敛。
• 引入 SBiO-BreD，一种结合 Bregman 距离与随机梯度近似技术的随机双层方法，适用于噪声目标函数。
• 开发 ASBiO-BreD，一种利用方差减少技术（如 SARAH/SPIDER）的加速变体，以提升样本效率。
• 利用 Bregman 散度解耦内层与外层优化动态，实现稳定且高效的更新。
• 设计基于李雅普诺夫函数的分析方法，建立在非凸与非光滑设定下的收敛性保证。
• 通过 Bregman 几何自适应调整步长与动量项，以平衡收敛性与稳定性。

实验结果

研究问题

• RQ1 Bregman 距离能否有效降低具有非光滑正则化的双层优化中的计算复杂度？
• RQ2 与最先进双层求解器相比，所提方法在收敛速率和条件数依赖性方面表现如何？
• RQ3 在存在噪声数据的情况下，方差减少的随机梯度能否提升双层优化的样本效率？
• RQ4 引入非光滑正则化（如 ℓ1）是否显著影响收敛行为与计算成本？
• RQ5 与现有方法相比，所提方法在超参数调优和元学习任务中能否实现更优的实证性能？

主要发现

• BiO-BreD 在寻找 ε-驻点时达到 O(κ²ε⁻¹) 的梯度复杂度，优于先前方法的 O(κ³ε⁻¹) 或更高。
• SBiO-BreD 将随机梯度复杂度降低至 ˜O(κ³ε⁻¹)，与现有随机双层求解器相比达到或超越性能。
• ASBiO-BreD 的计算复杂度低于已知最佳结果，且对条件数 κ 和目标精度 ε 的依赖性更优。
• 在数据超清洗和超表示学习任务中，所提方法优于 AID-BiO、ITD-BiO 等基线方法。
• 理论分析证实，在非凸与非光滑设定下可收敛至 ε-驻点，且对误差项给出了显式上界。
• 实证结果验证了基于 Bregman 的方法在不同噪声水平与正则化程度下的多样机器学习基准中的鲁棒性与高效性。