[论文解读] The Last-Iterate Convergence Rate of Optimistic Mirror Descent in Stochastic Variational Inequalities

Waïss Azizian, Franck Iutzeler+2 more|arXiv (Cornell University)|Jul 5, 2021

Statistical Mechanics and Entropy被引用 5

一句话总结

本文首次对随机变分不等式中的乐观镜像下降（OMD）进行了局部收敛速率分析，引入了勒让德指数以量化由Bregman散度诱导的局部几何结构。结果表明，收敛速率关键取决于该指数，针对不同Bregman函数（如欧几里得、负熵和Tsallis熵）推导出最优步长与速率，实现从$\mathcal{O}(1/t)$到$\mathcal{O}(1/t^{0.1666})$的速率，具体取决于几何结构。

ABSTRACT

In this paper, we analyze the local convergence rate of optimistic mirror descent methods in stochastic variational inequalities, a class of optimization problems with important applications to learning theory and machine learning. Our analysis reveals an intricate relation between the algorithm's rate of convergence and the local geometry induced by the method's underlying Bregman function. We quantify this relation by means of the Legendre exponent, a notion that we introduce to measure the growth rate of the Bregman divergence relative to the ambient norm near a solution. We show that this exponent determines both the optimal step-size policy of the algorithm and the optimal rates attained, explaining in this way the differences observed for some popular Bregman functions (Euclidean projection, negative entropy, fractional power, etc.).

研究动机与目标

• 理解在随机变分不等式（SVI）中，由于非单调性或复杂几何结构导致传统速率不适用时，乐观镜像下降（OMD）的局部收敛行为。
• 识别控制OMD收敛速率的关键几何因素，特别是在非单调或局部强单调设置下。
• 形式化Bregman散度的增长速率与算法性能之间的关系，通过勒让德指数提出新的表征方式。
• 推导出依赖于该指数的OMD最优步长策略与收敛速率，解释不同主流Bregman函数之间的实际差异。
• 通过在1D SVI上使用多种距离生成函数（欧几里得、负熵、Tsallis）的数值实验验证理论预测。

提出的方法

• 引入勒让德指数$\beta$作为Bregman散度相对于解附近环境范数的局部增长速率的度量，通过Bregman球与欧几里得球体积的对数比定义。
• 通过推导包含随机噪声和步长序列的Bregman散度$a_t = D(x^*, X_t)$的下降不等式，分析OMD在SVI中的末次迭代收敛性。
• 使用形式为$a_{t+1} \leq a_t - \frac{q}{(t+t_0)^\eta} a_t^{1+\alpha} + \frac{q'}{(t+t_0)^{2\eta}}$的递归下降不等式建模收敛动态，其中$\alpha = \beta / (1 + \beta)$。
• 应用引理A.11和A.12以界定$a_t$的衰减速率，根据步长指数$\eta$区分不同情形，最终以$T$表示渐近速率。
• 推导出最优步长策略$\gamma_t = 1/t^\eta$，以平衡下降项与噪声项，其中$\eta$依赖于勒让德指数$\beta$。
• 通过在$\mathcal{K}=[0,\infty)$、$v(x)=x$的1D SVI上进行数值实验验证理论速率，采用三种Bregman函数：欧几里得（$\beta=0$）、负熵（$\beta=0.5$）和Tsallis熵（$q=0.5$时$\beta=0.75$，$q=1.5$时$\beta=0.25$）。

实验结果

研究问题

• RQ1 Bregman散度的局部几何结构（由勒让德指数$\beta$捕捉）如何影响随机变分不等式中乐观镜像下降的收敛速率？
• RQ2 在存在算子的随机估计时，OMD的最优步长策略是什么，以平衡下降与噪声？
• RQ3 为何不同的Bregman函数（如欧几里得、负熵、Tsallis）在实践中表现出不同的收敛速率？这一现象能否由一个统一的几何参数解释？
• RQ4 即使在存在随机噪声和非单调算子的情况下，是否能通过勒让德指数精确表征OMD的末次迭代收敛速率？
• RQ5 理论收敛速率在各种Bregman函数的数值实验中与实际观测结果在多大程度上一致？

主要发现

• 勒让德指数$\beta$量化了Bregman散度相对于环境范数的局部增长速率，其中$\beta=0$对应欧几里得，$\beta=0.5$对应负熵，$\beta=0.75$或$\beta=0.25$分别对应$q=0.5$或$1.5$的Tsallis熵。
• 当$\beta=0$（欧几里得）时，OMD的收敛速率为$\mathcal{O}(1/t)$，与标准结果一致，且随着$\beta$增大而退化。
• 当$\beta=0.5$时，理论速率为$\mathcal{O}(1/t^{0.5+\epsilon})$，观测速率为$\mathcal{O}(1/t^{0.48})$，验证了理论预测。
• 当$\beta=0.75$时，理论速率为$\mathcal{O}(1/t^{0.1666})$，观测速率为$\mathcal{O}(1/t^{0.13})$，表明与推导边界的良好一致性。
• 当$\beta=0.25$时，理论速率为$\mathcal{O}(1/t^{0.75}}$，观测速率为$\mathcal{O}(1/t^{0.71})$，表明理论与实验之间存在强烈吻合。
• 最优步长策略为$\gamma_t = 1/t^\eta$，其中$\eta = \frac{1+\alpha}{1+2\alpha}$，且$\alpha = \beta / (1 + \beta)$，确保在给定$\beta$下达到最佳可能收敛速率。