[论文解读] A framework for bilevel optimization that enables stochastic and global variance reduction algorithms

Mathieu Dagréou, Pierre Ablin+2 more|arXiv (Cornell University)|Jan 31, 2022

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

本文提出了一种新颖的双层优化框架，联合演化外层变量、内层变量以及由隐函数定理导出的线性系统解。通过将更新方向表示为单个梯度之和，该方法实现了无偏的随机估计器，并由此导出SABA——一种方差减少算法，实现了$O(1/T)$的收敛速率，并在Polyak-Łojasiewicz条件下达到线性收敛，使其成为首个具备这些收敛速率的随机双层优化方法。

ABSTRACT

Bilevel optimization, the problem of minimizing a value function which involves the arg-minimum of another function, appears in many areas of machine learning. In a large scale empirical risk minimization setting where the number of samples is huge, it is crucial to develop stochastic methods, which only use a few samples at a time to progress. However, computing the gradient of the value function involves solving a linear system, which makes it difficult to derive unbiased stochastic estimates. To overcome this problem we introduce a novel framework, in which the solution of the inner problem, the solution of the linear system, and the main variable evolve at the same time. These directions are written as a sum, making it straightforward to derive unbiased estimates. The simplicity of our approach allows us to develop global variance reduction algorithms, where the dynamics of all variables is subject to variance reduction. We demonstrate that SABA, an adaptation of the celebrated SAGA algorithm in our framework, has $O(\frac1T)$ convergence rate, and that it achieves linear convergence under Polyak-Lojasciewicz assumption. This is the first stochastic algorithm for bilevel optimization that verifies either of these properties. Numerical experiments validate the usefulness of our method.

研究动机与目标

• 解决在机器学习中大规模双层优化场景下开发可扩展随机算法的挑战。
• 克服由于目标函数梯度中涉及Hessian逆矩阵而导致的无偏梯度估计困难。
• 在双层设置中实现此前在单层优化中成功的方差减少技术。
• 在非凸设置下实现与单层优化方法（如SAGA）相当的收敛速率。
• 为非凸与PL正则化设置提供理论保证。

提出的方法

• 提出一种联合演化框架，使外层变量、内层变量以及线性系统解同步演化。
• 将更新方向表示为$F_j$与$G_i$的单个梯度之和，从而支持无偏随机估计器。
• 设计SOBA作为该框架下的随机梯度变体，采用递减步长。
• 开发SABA，作为SAGA在双层框架下的方差减少扩展，利用历史梯度追踪机制。
• 引入李雅普诺夫函数$\mathcal{L}^t$以分析收敛性，综合考虑外层、内层及线性系统解的误差。
• 利用杨不等式与强凸性假设，推导出具有可控误差传播的下降引理。

实验结果

研究问题

• RQ1 我们能否设计一种随机双层优化算法，实现$O(1/T)$的收敛速率？
• RQ2 在Polyak-Łojasiewicz条件下，是否能够通过随机方法实现双层优化中的线性收敛？
• RQ3 单层优化中成功的方差减少技术能否被有效适配到双层问题中？
• RQ4 当涉及Hessian逆矩阵时，如何构建双层梯度的无偏随机估计器？
• RQ5 在较弱的正则性假设（如Lipschitz梯度与强凸性）下，可实现何种收敛速率？

主要发现

• SABA在平均平方梯度范数上实现了$O(1/T)$的收敛速率，与单层优化中SAGA的最佳已知速率一致。
• 在Polyak-Łojasiewicz条件下，SABA实现了线性收敛，使其成为首个具备此性质的随机双层优化算法。
• SOBA在采用递减步长时，收敛速率为$\mathbb{E}[\nabla h(x^t)^2] = O(\log(T) T^{-1/2})$。
• 该框架通过将更新表示为单个梯度之和，实现了无偏随机估计器，克服了Hessian求逆的挑战。
• 在较弱的正则性假设下，SABA实现了$O((n+m)\epsilon^{-1})$的样本复杂度，与全批量SOBA相当，但收敛速率退化至$O(T^{-2/5})$。
• 理论分析表明，在强假设下，李雅普诺夫函数$\mathcal{L}^t$呈几何级数衰减，从而证明了线性收敛。