[论文解读] A Generic First-Order Algorithmic Framework for Bi-Level Programming Beyond Lower-Level Singleton

Risheng Liu, Pan Mu+3 more|arXiv (Cornell University)|Jun 7, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用 12

一句话总结

本文提出了一种通用的一阶算法框架——双层下降聚合（BDA），用于双层规划，该框架消除了对下层唯一解（LLS）假设的严格限制。通过从乐观视角建模双层问题并聚合层次化的目标信息，BDA 在无需 LLS 条件下实现收敛，优于现有方法，并在超参数优化和元学习任务中展现出卓越性能。

ABSTRACT

In recent years, a variety of gradient-based first-order methods have been developed to solve bi-level optimization problems for learning applications. However, theoretical guarantees of these existing approaches heavily rely on the simplification that for each fixed upper-level variable, the lower-level solution must be a singleton (a.k.a., Lower-Level Singleton, LLS). In this work, we first design a counter-example to illustrate the invalidation of such LLS condition. Then by formulating BLPs from the view point of optimistic bi-level and aggregating hierarchical objective information, we establish Bi-level Descent Aggregation (BDA), a flexible and modularized algorithmic framework for generic bi-level optimization. Theoretically, we derive a new methodology to prove the convergence of BDA without the LLS condition. Our investigations also demonstrate that BDA is indeed compatible to a verify of particular first-order computation modules. Additionally, as an interesting byproduct, we also improve these conventional first-order bi-level schemes (under the LLS simplification). Particularly, we establish their convergences with weaker assumptions. Extensive experiments justify our theoretical results and demonstrate the superiority of the proposed BDA for different tasks, including hyper-parameter optimization and meta learning.

研究动机与目标

• 解决现有的一阶双层优化方法依赖于严格限制的下层唯一解（LLS）条件所带来的局限性。
• 开发一种超越 LLS 假设的通用、模块化且灵活的双层规划算法框架。
• 建立一种新的理论证明方法，用于在不依赖 LLS 条件下证明一阶双层方法的收敛性。
• 在 LLS 简化假设下，提升现有的一阶双层优化方案的收敛性保证。
• 通过实证验证所提出框架在多样化机器学习应用中的优越性。

提出的方法

• 从乐观视角建模双层问题，以处理下层解集非单点集的情况。
• 提出双层下降聚合（BDA），一种模块化框架，将问题分解为仅关于上层变量的单层子问题，以及仅关于下层变量的简单双层子问题。
• 聚合来自上层和下层问题的层次化目标信息，以指导优化过程。
• 建立一种通用的收敛性证明方法，该方法不依赖于 LLS 条件，而是基于一致有界性和连续性假设。
• 利用下层目标函数的逐层有界性和局部一致连续性，确保在更宽松条件下实现收敛。
• 通过将上层建模为验证损失、下层建模为训练损失，将该框架应用于超参数优化和少样本元学习任务。

实验结果

研究问题

• RQ1 能否开发一种一阶双层优化框架，使其不依赖于下层唯一解（LLS）条件？
• RQ2 当下的层解集不是单点集时，哪些理论条件可确保一阶双层方法的收敛性？
• RQ3 如何聚合层次化的目标信息，以提升双层优化中的收敛性和稳定性？
• RQ4 所提出的框架能否在实际机器学习应用中优于现有的第一阶双层优化方法？
• RQ5 新的证明方法是否能提升基于 LLS 的现有方法的收敛性保证？

主要发现

• BDA 在无需 LLS 条件下，实现了上层变量的子序列收敛至最优解。
• 通过一种改进的理论证明方法，该框架在 LLS 假设下提升了现有的一阶双层优化方案的收敛性特性。
• 在 Omniglot 数据集上，BDA 在 5 类 1 样本设置下达到 99.04% 的准确率，优于 MAML（98.70%）及其他基线方法。
• 在 MiniImageNet 上，BDA 达到 49.08% 的准确率，略高于 RHG（48.89%）和 T-RHG（47.67%），且达到约 44% 准确率所用的上层迭代次数最少（2500 次）。
• 验证损失曲线显示，在少样本分类任务中，BDA 在 Omniglot 和 MiniImageNet 上的收敛速度均快于 RHG 和 T-RHG。
• 通过反例验证，表明在无 LLS 条件下，现有的一阶双层方法可能收敛至错误解，从而验证了所提框架的必要性。