[论文解读] Convergence Properties of Stochastic Hypergradients

Riccardo Grazzi, Massimiliano Pontil+1 more|arXiv (Cornell University)|Nov 13, 2020

Advanced Topology and Set Theory参考文献 19被引用 6

一句话总结

本文提出了一种随机不精确下降（SID）方法，用于通过近似隐式微分（AID）在双层优化中计算超梯度，将确定性求解器替换为随机求解器。该方法为超梯度估计器提供了与具体随机求解器选择无关的均方误差界，在收缩假设下证明了收敛性，并在实践中展示了改进的准确性，尤其是在步长减小的情况下。

ABSTRACT

Bilevel optimization problems are receiving increasing attention in machine learning as they provide a natural framework for hyperparameter optimization and meta-learning. A key step to tackle these problems is the efficient computation of the gradient of the upper-level objective (hypergradient). In this work, we study stochastic approximation schemes for the hypergradient, which are important when the lower-level problem is empirical risk minimization on a large dataset. The method that we propose is a stochastic variant of the approximate implicit differentiation approach in (Pedregosa, 2016). We provide bounds for the mean square error of the hypergradient approximation, under the assumption that the lower-level problem is accessible only through a stochastic mapping which is a contraction in expectation. In particular, our main bound is agnostic to the choice of the two stochastic solvers employed by the procedure. We provide numerical experiments to support our theoretical analysis and to show the advantage of using stochastic hypergradients in practice.

研究动机与目标

• 开发一种近似隐式微分（AID）的随机变体，用于双层优化中的超梯度计算。
• 为超梯度估计器提供一个与求解下层问题和线性系统的具体随机求解器无关的均方误差界。
• 将随机定点迭代的收敛性分析扩展至具有收缩映射的双层问题。
• 通过实验验证在步长减小的情况下，随机超梯度在实际应用中的有效性。
• 通过用随机替代方法替代昂贵的确定性求解器，实现可扩展的超参数优化和元学习。

提出的方法

• 提出一种随机不精确下降（SID）算法，对下层问题和AID中出现的线性系统均使用无偏随机近似。
• 采用两种随机求解器：一种用于求解下层定点方程，另一种用于求解超梯度计算中的线性系统。
• 对下层映射 Φ(w,λ) 使用收缩映射假设，以确保随机定点迭代的收敛性。
• 推导出一个与具体求解器选择无关的超梯度估计器的均方误差界，其依赖于收缩率和随机近似的方差。
• 应用随机定点迭代的一般收敛性分析，将SGD收敛性结果扩展至强凸和基于收缩的场景。
• 在Stoch dec变体中使用递减步长，以确保收敛至真实超梯度，而恒定步长可能在期望下无法收敛。

实验结果

研究问题

• RQ1 能否使近似隐式微分（AID）的随机变体在双层优化中收敛至真实超梯度？
• RQ2 当同时以随机方式求解下层问题和线性系统时，超梯度估计器的均方误差界是什么？
• RQ3 随机求解器的选择（如恒定步长与递减步长）如何影响超梯度估计器的收敛行为？
• RQ4 能否将随机定点迭代的收敛性分析扩展至具有收缩映射的双层设置？
• RQ5 在大规模设置下，使用随机求解器的AID是否相比确定性AID在实际性能上表现更优？

主要发现

• 所提出的SID方法为超梯度估计器提供了与用于下层问题和线性系统的随机求解器选择无关的均方误差界。
• SID的Stoch dec变体在期望下以 O(1/(γ_λ + t)) 的速率收敛至真实超梯度，其中 t 为迭代次数。
• SID的Stoch const变体可能无法在期望下收敛至真实超梯度，因为它可能趋近于解的邻域，但不一定会收敛至该解。
• 数值实验表明，SID（尤其是在使用递减步长时）在超梯度近似精度方面优于确定性AID方法。
• 收敛性分析将SGD框架扩展至在收缩假设下的随机定点迭代，为该方法提供了理论支持。
• 该方法通过用随机近似替代昂贵的确定性求解器，实现了可扩展的超参数优化，同时保持了理论保证。