[论文解读] BOME! Bilevel Optimization Made Easy: A Simple First-Order Approach

Mao Ye, Бо Лю+3 more|arXiv (Cornell University)|Sep 19, 2022

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出 BOME，一种简单的首阶双层优化方法，通过使用基于值函数的方法重构问题，并应用动态障碍梯度下降，避免了隐式微分。该方法实现了非凸目标函数的非渐近收敛至驻点，是首个实现此结果的完全首阶双层优化方法，在深度学习基准测试中表现出卓越的效率与性能。

ABSTRACT

Bilevel optimization (BO) is useful for solving a variety of important machine learning problems including but not limited to hyperparameter optimization, meta-learning, continual learning, and reinforcement learning. Conventional BO methods need to differentiate through the low-level optimization process with implicit differentiation, which requires expensive calculations related to the Hessian matrix. There has been a recent quest for first-order methods for BO, but the methods proposed to date tend to be complicated and impractical for large-scale deep learning applications. In this work, we propose a simple first-order BO algorithm that depends only on first-order gradient information, requires no implicit differentiation, and is practical and efficient for large-scale non-convex functions in deep learning. We provide non-asymptotic convergence analysis of the proposed method to stationary points for non-convex objectives and present empirical results that show its superior practical performance.

研究动机与目标

• 开发一种适用于大规模非凸深度学习问题的实用、高效且完全首阶的双层优化方法。
• 消除传统方法中计算成本高昂的海森矩阵计算与隐式微分的需求。
• 为非凸目标函数建立完全首阶方法的非渐近收敛保证至驻点，填补了先前完全首阶方法在此方面的空白。
• 提供一种在理论和实证上均稳健且在多样化机器学习应用中有效的优化方法。

提出的方法

• 基于值函数方法，将双层问题重构为单层带约束的优化问题。
• 基于 Gong 等人 [16] 的方法，应用一种改进的动态障碍梯度下降法，仅使用 f 和 g 的首阶梯度。
• 引入基于 KKT 的损失函数，用于衡量优化过程中的平稳性。
• 对包含高阶信息的变量使用停止梯度，以避免海森矩阵计算。
• 利用利普希茨连续性和强凸性假设，推导收敛边界。
• 采用带有自适应惩罚的障碍法，以确保内层问题的最优性条件。

实验结果

研究问题

• RQ1 完全首阶的双层优化方法能否实现对非凸目标函数的非渐近收敛至驻点？
• RQ2 此类方法在大规模深度学习场景中是否兼具计算高效性与实际有效性？
• RQ3 与现有首阶方法（如 BSG-1 和 BVFSM）相比，所提方法在收敛性与鲁棒性方面表现如何？
• RQ4 在不使用隐式微分的前提下，首阶双层优化方法的理论收敛速率是多少？
• RQ5 该方法能否在超参数优化、元学习和持续学习任务中有效应用？

主要发现

• 所提出的 BOME 方法首次实现了对非凸 f 和 g 的非渐近收敛至驻点，这是完全首阶双层优化方法的首次成果。
• 收敛速率受 O(1/(ξK) + exp(−b₁T/2) + ξ¹ᐟ² + 1/(ξ¹ᐟ²K¹ᐟ²) + (1/K ∑χₖ)¹ᐟ²) 边界约束，显示出理论上的鲁棒性。
• 实证结果表明，BOME 在超参数调优、元学习和持续学习基准测试中表现优于或匹配当前最先进方法。
• 该方法显著优于基于海森矩阵的方法，且避免了 BVFSM 方法对超参数的敏感性。
• 该算法在多种深度学习任务中表现出稳定性能，无需复杂调参。
• 分析表明，该方法以随迭代次数 K 和惩罚参数 ξ 增加而改善的速率收敛至 KKT 点。