[论文解读] Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical Guarantee

Junyi Li, Bin Gu+1 more|arXiv (Cornell University)|Sep 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用 10

一句话总结

本文提出了一种改进的双层模型，通过使用外层目标对内层问题进行正则化，提升了收敛速度和最优性，从而实现更快且更优的性能。该方法采用一种具有理论收敛保证的高效算法，在数据超清洗和超表示学习任务中优于标准双层公式。

ABSTRACT

Due to the hierarchical structure of many machine learning problems, bilevel programming is becoming more and more important recently, however, the complicated correlation between the inner and outer problem makes it extremely challenging to solve. Although several intuitive algorithms based on the automatic differentiation have been proposed and obtained success in some applications, not much attention has been paid to finding the optimal formulation of the bilevel model. Whether there exists a better formulation is still an open problem. In this paper, we propose an improved bilevel model which converges faster and better compared to the current formulation. We provide theoretical guarantee and evaluation results over two tasks: Data Hyper-Cleaning and Hyper Representation Learning. The empirical results show that our model outperforms the current bilevel model with a great margin. \emph{This is a concurrent work with \citet{liu2020generic} and we submitted to ICML 2020. Now we put it on the arxiv for record.}

研究动机与目标

• 为解决当前双层模型因内层问题独立优化而导致的次优收敛和性能问题。
• 开发一种新的双层公式，联合优化内层和外层目标，以更好地与整体优化目标对齐。
• 设计一种针对改进模型的高效算法，并提供理论收敛保证。
• 通过实验验证新公式的优越性，涵盖多种机器学习任务。

提出的方法

• 通过外层目标对内层问题进行正则化，使解同时最小化内层损失并有利于外层问题。
• 提出一种基于 BiG-SAM 的高效算法，采用自适应步长和融合外层问题信息的梯度更新。
• 采用改进的内层优化方法，平衡内层与外层目标，避免陷入次优局部极小值。
• 理论分析证明了收敛性，并提供了性能提升的下界。
• 算法采用混合更新策略，可在计算成本与性能之间实现权衡。
• 在数据超清洗和超表示学习任务中应用该模型，并对内层迭代频率和 BiG-SAM 使用情况进行了消融研究。

实验结果

研究问题

• RQ1 是否可以通过重新设计的双层模型，联合考虑内层和外层目标，实现比标准公式更快的收敛速度和更优的性能？
• RQ2 将外层问题信息引入内层优化过程，对模型稳定性与收敛性有何影响？
• RQ3 BiG-SAM 更新频率如何影响计算成本与模型性能之间的权衡？
• RQ4 该改进公式是否在多种机器学习任务（如超清洗和表示学习）中持续优于基线模型？
• RQ5 新双层模型改进收敛行为的理论依据是什么？

主要发现

• 改进的双层模型在性能上显著优于标准公式，在 20 类 1 样本 MiniImageNet 设置下实现了 4% 的准确率提升。
• 在 5 类 1 样本 Omniglot 任务中，模型准确率达到 30%，而基线模型仅为 26%。
• 在数据超清洗任务中，F1 分数曲线显示该模型收敛更快且达到更低的最优值。
• 消融研究显示，减少 BiG-SAM 步骤的使用频率会降低性能，但即使使用频率较低，仍优于基线模型。
• 实验表明，过多的内层迭代会减缓收敛速度并降低性能，表明单独优化内层问题是次优的。
• 在最具挑战性的设置下（如 1 样本学习），该模型表现出最大的性能提升，证实其在困难泛化任务中的有效性。