[论文解读] A Value-Function-based Interior-point Method for Non-convex Bi-level Optimization

Risheng Liu, Xuan Liu+3 more|arXiv (Cornell University)|Jun 15, 2021

Sparse and Compressive Sensing Techniques参考文献 35被引用 4

一句话总结

该论文提出BVFIM，一种新型基于梯度的非凸双层优化方法，采用基于值函数的对数障碍内点法，将双层问题转化为一系列光滑、无约束的子问题。通过避免昂贵的Hessian或Jacobian向量积计算，并在无需凸性假设的前提下证明收敛性，BVFIM在非凸任务（如超参数优化和数据超清洗）中实现了更高的效率和鲁棒性。

ABSTRACT

Bi-level optimization model is able to capture a wide range of complex learning tasks with practical interest. Due to the witnessed efficiency in solving bi-level programs, gradient-based methods have gained popularity in the machine learning community. In this work, we propose a new gradient-based solution scheme, namely, the Bi-level Value-Function-based Interior-point Method (BVFIM). Following the main idea of the log-barrier interior-point scheme, we penalize the regularized value function of the lower level problem into the upper level objective. By further solving a sequence of differentiable unconstrained approximation problems, we consequently derive a sequential programming scheme. The numerical advantage of our scheme relies on the fact that, when gradient methods are applied to solve the approximation problem, we successfully avoid computing any expensive Hessian-vector or Jacobian-vector product. We prove the convergence without requiring any convexity assumption on either the upper level or the lower level objective. Experiments demonstrate the efficiency of the proposed BVFIM on non-convex bi-level problems.

研究动机与目标

• 解决在机器学习应用中高效求解非凸双层优化问题的挑战。
• 克服现有基于梯度的方法在上层或下层目标非凸时的局限性，避免因计算Hessian或Jacobian向量积而导致的高计算成本。
• 为上层和下层目标均非凸的双层问题开发一种可扩展且收敛的算法。
• 在层次化学习任务（如超参数调优、神经架构搜索和元学习）中实现有效优化。
• 在最小假设条件下提供理论收敛保证，包括不要求下层解唯一。

提出的方法

• 利用下层问题的值函数重新表述双层问题，将下层最优性条件嵌入上层目标中。
• 对正则化后的值函数应用对数障碍惩罚，以强制满足可行性，将约束型双层问题转化为一系列光滑、无约束的子问题。
• 对下层值函数应用正则化技术，以确保可微性和数值稳定性。
• 采用基于梯度的方法求解所得的光滑子问题，无需计算Hessian向量积或Jacobian向量积。
• 采用自适应惩罚参数策略，随迭代次数递减，以平衡收敛性与精度。
• 利用隐函数定理和光滑化技术保持可微性，支持高效优化。

实验结果

研究问题

• RQ1 能否设计一种基于梯度的方法，用于非凸双层问题，且不要求上层或下层目标具有凸性？
• RQ2 能否在双层优化中避免Hessian或Jacobian向量积的计算，同时保持收敛性？
• RQ3 所提出的基于值函数的内点法与现有基于梯度的方法相比，在收敛速度和解质量方面表现如何？
• RQ4 正则化和惩罚参数自适应调整对收敛行为和最终解质量有何影响？
• RQ5 该方法能否有效处理真实世界中的非凸双层任务，如数据超清洗和超参数优化？

主要发现

• BVFIM在无需上层或下层目标凸性假设的前提下，可收敛至双层问题的驻点。
• 该方法避免了昂贵的Hessian向量积或Jacobian向量积计算，与现有基于梯度的方法相比，显著降低了计算开销。
• 在标签被污染的FashionMNIST数据集上，BVFIM实现了91.19%的测试F1分数，优于EGBM（88.24%）和IGBM（84.31%），在准确率和训练时间上均表现更优。
• 在超参数优化任务中，BVFIM展现出更快的收敛速度和更好的泛化能力，尤其在CIFAR10等高维下层参数的大规模数据集上表现突出。
• 实验表明，采用递减的正则化参数可实现最优收敛性，而固定或零正则化会降低上层变量的性能。
• 收敛行为对内层迭代次数L较为敏感；较小的L值（如L=1）可加速上层变量x的收敛，因此在x*为主要关注目标时尤为适用。