[论文解读] A Generic Descent Aggregation Framework for Gradient-based Bi-level Optimization.

Risheng Liu, Pan Mu+3 more|arXiv (Cornell University)|Feb 16, 2021

Sparse and Compressive Sensing Techniques参考文献 50被引用 4

一句话总结

本文提出了一种通用的双层下降聚合（BDA）框架，取代了基于梯度的双层优化中限制性较强的下层单点（LLS）假设。通过聚合分层目标并支持任务特定的迭代动态，BDA在无需LLS假设的情况下确保收敛，并通过单阶段技术加速反向传播，在超参数调优和元学习中优于先前方法。

ABSTRACT

In recent years, gradient-based methods for solving bi-level optimization tasks have drawn a great deal of interest from the machine learning community. However, to calculate the gradient of the best response, existing research always relies on the singleton of the lower-level solution set (a.k.a., Lower-Level Singleton, LLS). In this work, by formulating bi-level models from an optimistic bi-level viewpoint, we first establish a novel Bi-level Descent Aggregation (BDA) framework, which aggregates hierarchical objectives of both upper level and lower level. The flexibility of our framework benefits from the embedded replaceable task-tailored iteration dynamics modules, thereby capturing a wide range of bi-level learning tasks. Theoretically, we derive a new methodology to prove the convergence of BDA framework without the LLS restriction. Besides, the new proof recipe we propose is also engaged to improve the convergence results of conventional gradient-based bi-level methods under the LLS simplification. Furthermore, we employ a one-stage technique to accelerate the back-propagation calculation in a numerical manner. Extensive experiments justify our theoretical results and demonstrate the superiority of the proposed algorithm for hyper-parameter optimization and meta-learning tasks.

研究动机与目标

• 解决现有基于梯度的双层优化方法依赖于限制性较强的下层单点（LLS）假设的局限性。
• 开发一种灵活的框架，通过可替换的任务定制化迭代动态，捕捉多样化的双层学习任务。
• 建立一种新的理论证明方法，证明BDA框架在无需LLS条件下的收敛性。
• 利用所提出的证明技术，改进在LLS简化条件下传统基于梯度的双层优化方法的收敛保证。
• 通过一种新颖的单阶段数值计算技术，加速双层优化中的反向传播。

提出的方法

• 从乐观双层视角重新表述双层优化，以实现在上下两层之间对分层目标进行聚合。
• 设计具有模块化、可替换迭代动态的双层下降聚合（BDA）框架，以支持任务特定的适应。
• 推导一种新的收敛性证明方法，该方法无需依赖LLS假设，从而实现更广泛的理论有效性。
• 将新证明方法应用于改进在LLS简化条件下现有基于梯度的双层优化方法的收敛结果。
• 实现一种单阶段技术，通过减少梯度计算中的计算开销来加速反向传播。
• 将BDA框架集成到标准的双层学习流水线中，用于超参数优化和元学习。

实验结果

研究问题

• RQ1 能否设计一种通用的双层优化框架，使其在无需限制性下层单点（LLS）假设的情况下运行？
• RQ2 如何有效聚合来自上下两层的分层目标，以支持多样化的学习任务？
• RQ3 能否开发一种新的理论证明框架，以在不依赖LLS的前提下建立双层方法的收敛性？
• RQ4 所提出的证明方法在多大程度上能改进现有基于梯度的双层优化方法在LLS条件下的收敛保证？
• RQ5 该单阶段反向传播加速技术在实际中减少计算成本方面效果如何？

主要发现

• BDA框架在无需下层单点（LLS）假设的情况下实现收敛，扩展了双层优化的理论适用范围。
• 所提出的证明方法改进了在LLS简化条件下传统基于梯度的双层优化方法的收敛结果。
• 单阶段反向传播技术显著加速了BDA框架中的梯度计算。
• 大量实验验证了理论结论，表明在超参数优化任务中表现更优。
• BDA框架在元学习基准测试中相比现有方法展现出显著的实证优势。
• BDA的模块化设计通过任务定制化的迭代动态，实现了对各种双层学习任务的有效适应。