[论文解读] Efficient Optimization of Loops and Limits with Randomized Telescoping Sums

Alex Beatson, Ryan P. Adams|arXiv (Cornell University)|May 16, 2019

Model Reduction and Neural Networks被引用 10

一句话总结

本文提出随机化望远镜（RT）梯度估计器，将目标表示为望远镜级数，并通过采样各项的加权组合，实现对涉及循环或极限的优化问题的廉价、无偏梯度估计。核心贡献是理论上的收敛保证，且不依赖于循环长度或近似精度，自适应RT估计器通过最大化单位计算量下的期望改进，实现更快的优化速度。

ABSTRACT

We consider optimization problems in which the objective requires an inner loop with many steps or is the limit of a sequence of increasingly costly approximations. Meta-learning, training recurrent neural networks, and optimization of the solutions to differential equations are all examples of optimization problems with this character. In such problems, it can be expensive to compute the objective function value and its gradient, but truncating the loop or using less accurate approximations can induce biases that damage the overall solution. We propose randomized telescope (RT) gradient estimators, which represent the objective as the sum of a telescoping series and sample linear combinations of terms to provide cheap unbiased gradient estimates. We identify conditions under which RT estimators achieve optimization convergence rates independent of the length of the loop or the required accuracy of the approximation. We also derive a method for tuning RT estimators online to maximize a lower bound on the expected decrease in loss per unit of computation. We evaluate our adaptive RT estimators on a range of applications including meta-optimization of learning rates, variational inference of ODE parameters, and training an LSTM to model long sequences.

研究动机与目标

• 为解决在元学习或常微分方程求解等场景中，因截断昂贵的迭代目标而引入的计算偏差问题。
• 开发针对序列极限定义的目标的无偏且计算高效的梯度估计器。
• 实现与循环长度或所需近似精度无关的优化收敛速率。
• 设计自适应RT估计器，以最大化单位计算量下的期望改进。

提出的方法

• 将目标或其梯度表示为中间值之间后向差分的望远镜级数。
• 使用随机分布对望远镜级数中的各项进行线性组合采样，以在保持无偏性的同时降低期望计算量。
• 推导RT估计器实现有限方差及与时域H无关的最优收敛速率的条件。
• 提出一种自适应调参方法，通过估计梯度协方差，最大化单位计算量下损失下降的下界。
• 实现两种变体：RT-SS（单样本）和RT-RR（俄罗斯轮盘），并在线调整采样权重。
• 采用对角协方差假设以简化调参过程，并实现采样分布的高效在线自适应。

实验结果

研究问题

• RQ1 随机化望远镜估计器能否实现对迭代序列极限定义目标的无偏梯度估计？
• RQ2 在何种条件下，RT估计器能保持有限方差及与循环或近似时域无关的最优收敛速率？
• RQ3 自适应RT估计器能否在线调参以最大化单位计算量下的期望改进？
• RQ4 与固定截断和未截断基线相比，RT估计器在收敛速度和解质量方面表现如何？
• RQ5 在如训练大型RNN等高维设置下，RT估计器的性能是否会退化？

主要发现

• 在MNIST上的元优化学习率任务中，RT-SS估计器的收敛速度优于固定截断方法，初始进展更快且最终损失更低。
• 未截断估计器的损失略优于RT估计器，但计算量显著更高，证实了精度与效率之间的权衡。
• RT-RR估计器收敛性能较差，表明方差控制对优化稳定性至关重要。
• 在enwik8 LSTM任务中，RT估计器初期加速了训练，但最终因调参成本过高而变慢，表明在高维设置下存在局限性。
• 自适应RT-SS估计器通常优于基线方法，且在需要时可回退至未截断估计器，展现出良好的鲁棒性。