[论文解读] An Introduction to Bi-level Optimization: Foundations and Applications in Signal Processing and Machine Learning

Yihua Zhang, Prashant Khanduri+4 more|arXiv (Cornell University)|Aug 1, 2023

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文为信号处理与机器学习中的双层优化（BLO）提供了全面的介绍，涵盖基础理论、可处理的问题类别、优化算法以及实际应用。它展示了BLO如何在对抗鲁棒性、模型泛化和核心集选择等任务中建模分层决策，提供了理论洞见，并指出了未来研究的关键开放挑战。

ABSTRACT

Recently, bi-level optimization (BLO) has taken center stage in some very exciting developments in the area of signal processing (SP) and machine learning (ML). Roughly speaking, BLO is a classical optimization problem that involves two levels of hierarchy (i.e., upper and lower levels), wherein obtaining the solution to the upper-level problem requires solving the lower-level one. BLO has become popular largely because it is powerful in modeling problems in SP and ML, among others, that involve optimizing nested objective functions. Prominent applications of BLO range from resource allocation for wireless systems to adversarial machine learning. In this work, we focus on a class of tractable BLO problems that often appear in SP and ML applications. We provide an overview of some basic concepts of this class of BLO problems, such as their optimality conditions, standard algorithms (including their optimization principles and practical implementations), as well as how they can be leveraged to obtain state-of-the-art results for a number of key SP and ML applications. Further, we discuss some recent advances in BLO theory, its implications for applications, and point out some limitations of the state-of-the-art that require significant future research efforts. Overall, we hope that this article can serve to accelerate the adoption of BLO as a generic tool to model, analyze, and innovate on a wide array of emerging SP and ML applications.

研究动机与目标

• 为双层优化（BLO）作为建模信号处理与机器学习中分层决策的基石框架，提供统一的概述。
• 介绍关键的理论概念，包括最优性条件和收敛性保证，针对具有凸或非凸分量的可处理BLO问题类别。
• 综述最先进的BLO算法及其在真实世界SP和ML应用（如对抗训练、模型泛化和资源分配）中的实际实现。
• 识别BLO中的关键开放问题，包括处理非线性约束、非单点下层解、多层结构以及去中心化/联邦设置。
• 加速BLO在新兴SP和ML应用中的建模、分析与创新方面的采纳，使其成为标准工具。

提出的方法

• 将BLO形式化为一个两级优化问题：最小化一个依赖于下层优化子问题解的上层目标。
• 引入标准BLO公式，其中上层变量为θ，下层变量为φ，φ*为受h(θ,φ) ≤ 0约束的下层问题的最优解。
• 回顾基于隐式微分和嵌套优化的标准BLO算法，强调其优化原理和实际实现策略。
• 将BLO应用于真实世界问题，如核心集选择，其中上层选择数据权重，下层在选定子集上训练模型。
• 分析BLO在非凸和黑箱设置下的理论性质，并讨论在现实假设下的收敛性。
• 提出未来算法方向，包括去中心化和联邦BLO框架，以及向多层和过参数化问题的扩展。

Figure 1: An taxonomy of the solvers and application tasks for BLO.

实验结果

研究问题

• RQ1 双层优化如何有效建模信号处理与机器学习应用中的分层决策？
• RQ2 在存在非线性约束、非单点下层解或黑箱组件的情况下，求解BLO问题的关键理论挑战是什么？
• RQ3 如何利用BLO提升深度学习中的模型泛化能力、对抗鲁棒性以及数据效率？
• RQ4 当前BLO算法在大规模和分布式设置下的局限性是什么，如何加以解决？
• RQ5 双层优化在多层优化问题（如迁移学习或专家混合模型训练）中可如何扩展？

主要发现

• 双层优化能够有效建模SP和ML中的分层结构，例如在核心集选择中，数据选择（上层）依赖于模型训练（下层）。
• 本文指出非线性和耦合约束是BLO中的主要挑战，当前方法主要聚焦于线性约束，且理论保证有限。
• 非单点下层解（NS-BLO）仍是开放问题，因现有算法缺乏理论基础和可扩展性，构成关键研究空白。
• 将BLO扩展至多层问题（如迁移学习中的数据集剪枝）引入了新复杂性，需要新型算法框架。
• 大规模和分布式数据环境需要去中心化和联邦BLO算法，但目前仍发展不足，是未来研究的关键前沿。
• 对过参数化设置（如表现出双下降现象）中BLO的理论分析，是未来研究中一个新兴且有前景的方向。