[论文解读] Gradient-based Bi-level Optimization for Deep Learning: A Survey

Can Chen, Xi Chen+3 more|arXiv (Cornell University)|Jul 24, 2022

Advanced Multi-Objective Optimization Algorithms被引用 10

一句话总结

本综述全面概述了深度学习中的基于梯度的双层优化，提供了一个将问题形式化为双层任务的正式框架，并回顾了四种关键求解器——显式梯度、代理、隐函数和闭式更新。它强调了在超参数优化和元知识提取方面为研究人员提供的实用指导，并指出了未来在科学特征优化和准确代理更新方面的研究方向。

ABSTRACT

Bi-level optimization, especially the gradient-based category, has been widely used in the deep learning community including hyperparameter optimization and meta-knowledge extraction. Bi-level optimization embeds one problem within another and the gradient-based category solves the outer-level task by computing the hypergradient, which is much more efficient than classical methods such as the evolutionary algorithm. In this survey, we first give a formal definition of the gradient-based bi-level optimization. Next, we delineate criteria to determine if a research problem is apt for bi-level optimization and provide a practical guide on structuring such problems into a bi-level optimization framework, a feature particularly beneficial for those new to this domain. More specifically, there are two formulations: the single-task formulation to optimize hyperparameters such as regularization parameters and the distilled data, and the multi-task formulation to extract meta-knowledge such as the model initialization. With a bi-level formulation, we then discuss four bi-level optimization solvers to update the outer variable including explicit gradient update, proxy update, implicit function update, and closed-form update. Finally, we wrap up the survey by highlighting two prospective future directions: (1) Effective Data Optimization for Science examined through the lens of task formulation. (2) Accurate Explicit Proxy Update analyzed from an optimization standpoint.

研究动机与目标

• 为深度学习应用量身定制地提供基于梯度的双层优化的正式定义与分类体系。
• 指导研究人员识别并构建适合双层优化的问题，特别是在超参数调优和元知识提取方面。
• 对比和分析四种主要求解器在更新外层变量方面的差异：显式梯度、代理、隐函数和闭式更新。
• 强调两个未来研究方向：科学应用中的有效数据优化，以及从优化角度出发的准确显式代理更新。

提出的方法

• 使用内层变量和外层变量的形式化表达基于梯度的双层优化，其中内层变量被定义为以外层变量为参数的内层问题的最优解。
• 引入两种任务形式：单任务（例如，超参数优化）和多任务（例如，元学习和模型初始化）。
• 回顾四种求解器：通过反向传播实现的内层优化的显式梯度更新、使用可学习网络近似内层解的代理更新、通过隐函数微分实现的隐函数更新，以及当内层解具有解析形式时的闭式更新。
• 提出可通过建模先验、重要性采样、反向映射和受模型驱动优化启发的高效采样策略来增强代理网络。
• 强调在内层目标中引入科学约束——如几何和生化约束——以提升科学深度学习中的特征学习效果。
• 将显式代理更新与模型驱动优化联系起来，建议采用获取函数和前向与反向映射之间的一致性等技术，以提高代理的准确性。

实验结果

研究问题

• RQ1 如何系统地将深度学习问题形式化为双层优化问题？
• RQ2 在超参数调优或元知识提取中，判断某一问题是否适合双层优化的关键标准是什么？
• RQ3 四种主要求解器——显式梯度、代理、隐函数和闭式——在计算效率和准确性方面有何差异？
• RQ4 在构建用于超梯度计算的准确且高效的代理网络时，面临的主要挑战与机遇是什么？
• RQ5 如何有效将科学约束嵌入内层目标，以提升科学深度学习应用中的特征学习效果？

主要发现

• 基于梯度的双层优化通过反向传播计算超梯度，实现了深度学习中高效的超参数调优和元知识提取，其可扩展性优于经典方法（如进化算法）。
• 单任务形式化在优化正则化参数和蒸馏数据方面表现有效，而多任务形式化则通过元知识提取支持元学习和模型初始化。
• 通过整合平滑性等建模先验，并利用重要性采样对信息丰富的外层-内层变量对进行再训练，显式代理更新可显著提升性能。
• 通过引入反向映射（即从内层变量预测外层变量）可增强代理的准确性，从而强制实现前向与逆向映射之间的一致性。
• 采用来自模型驱动优化的获取函数等高效采样策略，可通过聚焦于信息丰富的外层变量样本，降低训练代理网络的计算成本。
• 在内层目标中整合科学约束（如几何或生化规则）可使科学深度学习任务中的特征表示更加准确且符合物理规律。