[论文解读] Acceleration and Averaging in Stochastic Mirror Descent Dynamics

Walid Krichene, Peter L. Bartlett|arXiv (Cornell University)|Jul 19, 2017

Stochastic Gradient Optimization Techniques参考文献 27被引用 4

一句话总结

本文通过连续时间随机微分方程（SDE）框架，引入并分析了加速镜像下降动力学的随机变体。通过分析一个能量函数，建立了在持续噪声和渐近消失噪声下函数值的收敛速率，表明噪声协方差对最优参数选择和收敛速度具有关键影响，这与确定性情况下可通过时间缩放人为加速收敛的情况不同。

ABSTRACT

We formulate and study a general family of (continuous-time) stochastic dynamics for accelerated first-order minimization of smooth convex functions. Building on an averaging formulation of accelerated mirror descent, we propose a stochastic variant in which the gradient is contaminated by noise, and study the resulting stochastic differential equation. We prove a bound on the rate of change of an energy function associated with the problem, then use it to derive estimates of convergence rates of the function values, (a.s. and in expectation) both for persistent and asymptotically vanishing noise. We discuss the interaction between the parameters of the dynamics (learning rate and averaging weights) and the covariation of the noise process, and show, in particular, how the asymptotic rate of covariation affects the choice of parameters and, ultimately, the convergence rate.

研究动机与目标

• 开发一种用于在梯度噪声环境下进行加速一阶优化的连续时间随机动力学模型。
• 将加速镜像下降的平均化公式扩展至具有噪声梯度估计的随机设置。
• 分析在持续噪声和渐近消失噪声下函数值的收敛行为。
• 研究噪声过程的协方差如何影响学习率和平均化参数的选择。
• 证明在随机情况下，时间缩放无法人为加速收敛，这是由于噪声重标度效应所致。

提出的方法

• 提出一种连续时间SDE形式的随机加速镜像下降（SAMD）动力学，包含时变学习率η(t)、平均化权重a(t)和噪声缩放s(t)。
• 引入一个能量函数以限制系统状态变化速率，从而实现收敛速率分析。
• 利用伊藤微积分和时间变换方法，分析随机性对动力学的影响，特别是对噪声协方差的影响。
• 利用能量函数和参数约束，推导出f(x(t)) − f(x⋆)在几乎必然和期望意义下的收敛边界。
• 分析时间重参数化γ(t)对SDE的影响，表明噪声协方差随1/γ̇(t)²缩放，从而阻止了人为加速。
• 证明当噪声消失时，该动力学满足加速镜像下降ODE的广义形式，与先前的确定性结果相联系。

实验结果

研究问题

• RQ1 在梯度中引入噪声如何影响连续时间加速镜像下降的收敛速率？
• RQ2 噪声协方差在确定最优学习率和平均化参数选择中起什么作用？
• RQ3 在随机设置下，能否像在确定性情况下那样通过时间重参数化来加速收敛？
• RQ4 参数η(t)、a(t)和s(t)如何相互作用以在持续噪声和消失噪声下控制收敛？
• RQ5 镜像映射∇ψ*对随机动力学的稳定性和收敛性有何影响？

主要发现

• 本文证明，在适当的参数条件下（a = η/r 且 η ≥ ṙ），函数值差距f(x(t)) − f(x⋆)被有界于L(x₀,z₀,t₀)/r(t)，从而建立了O(1/r(t))的收敛速率。
• 在持续噪声下，当r(t) = t时，收敛速率被限制为O(1/t)，且该边界依赖于噪声协方差结构。
• 在渐近消失噪声的情况下，相同参数条件下收敛速率仍为O(1/t)，且能量函数以该速率衰减。
• 分析表明，时间重参数化γ(t)在随机情况下无法实现人为加速，因为噪声协方差随1/γ̇(t)²缩放，从而改变了问题动力学。
• 能量函数的衰减速率与f(x(t))向f(x⋆)的收敛直接相关，且该衰减由η(t)、a(t)与噪声结构之间的相互作用所决定。
• 研究显示，只有在相应调整噪声协方差的情况下，随机动力学才对时间重参数化保持不变，这凸显了其与确定性情况的根本差异。