[论文解读] Adaptive Importance Sampling for Finite-Sum Optimization and Sampling with Decreasing Step-Sizes

Ayoub El Hanchi, David A. Stephens|arXiv (Cornell University)|Mar 23, 2021

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出 Avare，一种用于有限和优化与采样的自适应重要性采样算法，采用递减步长。通过结合在线学习与方差减少技术，Avare 在随机梯度下降（SGD）和随机梯蒙卡洛梯度下降（SGLD）中分别实现了 $Ø(T^{2/3})$ 和 $Ø(T^{5/6})$ 的动态遗憾，显著提升了在方差主导的优化后期阶段的收敛性。

ABSTRACT

Reducing the variance of the gradient estimator is known to improve the convergence rate of stochastic gradient-based optimization and sampling algorithms. One way of achieving variance reduction is to design importance sampling strategies. Recently, the problem of designing such schemes was formulated as an online learning problem with bandit feedback, and algorithms with sub-linear static regret were designed. In this work, we build on this framework and propose Avare, a simple and efficient algorithm for adaptive importance sampling for finite-sum optimization and sampling with decreasing step-sizes. Under standard technical conditions, we show that Avare achieves $\mathcal{O}(T^{2/3})$ and $\mathcal{O}(T^{5/6})$ dynamic regret for SGD and SGLD respectively when run with $\mathcal{O}(1/t)$ step sizes. We achieve this dynamic regret bound by leveraging our knowledge of the dynamics defined by the algorithm, and combining ideas from online learning and variance-reduced stochastic optimization. We validate empirically the performance of our algorithm and identify settings in which it leads to significant improvements.

研究动机与目标

• 为解决大规模有限和问题中随机梯度估计器的方差挑战。
• 开发一种在递减步长下动态最小化方差的自适应重要性采样策略。
• 在标准技术条件下，为 SGD 和 SGLD 实现次线性动态遗憾界。
• 通过实证验证所提方法在实际机器学习设置中的性能提升。
• 将框架扩展至小批量采样，同时保持无偏性与方差减少特性。

提出的方法

• Avare 将重要性采样建模为具有 bandit 反馈的在线学习问题，利用部分梯度范数观测。
• 它动态更新采样分布 $p^t$，以最小化梯度估计器协方差矩阵的迹。
• 该算法提出一种新型小批量估计器，结合了无放回采样与重要性采样的优势，同时保持无偏性。
• 它利用对算法动态特性（如递减步长）的了解，推导出遗憾界。
• 该方法引入一种改进的 epsilon 序列，用于常数步长的自适应，确保性能稳定。
• 遗憾分析结合了在线学习与方差减少的随机优化工具，推导出动态遗憾界。

实验结果

研究问题

• RQ1 自适应重要性采样能否在递减步长下为 SGD 和 SGLD 实现次线性动态遗憾？
• RQ2 在非平稳设置下，自适应重要性采样的动态遗憾与静态遗憾相比如何？
• RQ3 递减步长对方差减少在随机优化中有效性的影响是什么？
• RQ4 能否设计一种小批量估计器，保持无偏性的同时结合无放回采样与重要性采样的优势？
• RQ5 Avare 在真实世界数据集上与均匀采样及其他重要性采样策略相比，实证性能如何？

主要发现

• 在标准技术条件下，使用 $Ø(1/t)$ 步长时，Avare 在 SGD 中实现了 $Ø(T^{2/3})$ 的动态遗憾。
• 在相同的步长制度下，Avare 在 SGLD 中实现了 $Ø(T^{5/6})$ 的动态遗憾。
• 该算法显著降低了梯度估计器的方差，从而在优化后期阶段实现更快收敛。
• 在 MNIST、IJCNN1 和 CIFAR10 上的实证结果表明，Avare 在方差主导的环境中优于均匀采样及其他基线方法。
• 改进的 epsilon 序列使常数步长下性能稳定，表明其鲁棒性超越了递减步长的假设。
• 所提出的估计器在保持无偏性的同时，结合了无放回采样与重要性采样的优势。