[论文解读] Asymptotic Optimality in Stochastic Optimization

John C. Duchi, Feng Ruan|arXiv (Cornell University)|Dec 16, 2016

Stochastic Gradient Optimization Techniques参考文献 21被引用 9

一句话总结

该论文通过引入类似于 Hájek 和 Le Cam 框架的局部极小极大理论，为随机凸优化建立了函数特定的下界和收敛性保证。结果表明，在倾斜稳定问题下，Nesterov 的对偶累积方法可实现渐近最优性，而标准随机梯度方法在非线性约束下失效，因此需要采用黎曼随机梯度方法以实现最优性。

ABSTRACT

We study local complexity measures for stochastic convex optimization problems, providing a local minimax theory analogous to that of Hájek and Le Cam for classical statistical problems. We give complementary optimality results, developing fully online methods that adaptively achieve optimal convergence guarantees. Our results provide function-specific lower bounds and convergence results that make precise a correspondence between statistical difficulty and the geometric notion of tilt-stability from optimization. As part of this development, we show how variants of Nesterov's dual averaging---a stochastic gradient-based procedure---guarantee finite time identification of constraints in optimization problems, while stochastic gradient procedures fail. Additionally, we highlight a gap between problems with linear and nonlinear constraints: standard stochastic-gradient-based procedures are suboptimal even for the simplest nonlinear constraints, necessitating the development of asymptotically optimal Riemannian stochastic gradient methods.

研究动机与目标

• 开发一种针对随机凸优化的问题特定极小极大理论，类比经典统计学中 Hájek 和 Le Cam 的局部渐近极小极大理论。
• 刻画在带约束条件下求解随机优化问题的统计难度与计算难度。
• 识别标准随机梯度方法在何种情况下表现次优，特别是针对非线性约束问题。
• 设计能够通过利用倾斜稳定性等几何特性实现最优收敛速率的自适应、在线算法。
• 建立统计难度与优化中倾斜稳定性这一几何概念之间的精确对应关系。

提出的方法

• 通过倾斜扰动定义概率测度的收缩邻域，以建模真实分布 P 周围的局部复杂性。
• 定义一种局部极小极大风险度量，用于量化在以速率 k^{-1/2} 收缩的扰动分布族上的最坏情况期望损失。
• 利用矩阵 Γ = D Cov(∇f(x*;S)) D 建立该风险的下界，其类比于逆费舍尔信息，其中 D 表征解对倾斜扰动的敏感性。
• 提出 Nesterov 对偶累积算法的一种变体，可达到所推导的下界，从而在倾斜稳定问题下确保渐近最优性。
• 证明该方法可在有限时间内实现约束识别，而标准随机梯度方法无法实现此性质。
• 提出黎曼随机梯度方法作为在非线性约束下实现渐近最优性的必要手段。

实验结果

研究问题

• RQ1 我们如何定义一种与最坏情况函数类无关的、针对随机优化算法收敛速率的问题特定下界？
• RQ2 随机优化中的统计难度与几何稳定性概念（如倾斜稳定性）之间存在何种精确关系？
• RQ3 为何标准随机梯度方法在具有非线性约束的问题中无法实现最优收敛？
• RQ4 我们能否设计出自适应、在线算法，通过利用问题的局部几何特性实现最优收敛速率？
• RQ5 在何种条件下 Nesterov 的对偶累积方法可实现渐近最优性？何时必须采用黎曼方法？

主要发现

• 论文建立了任何算法期望损失的局部极小极大下界，该下界依赖于一个矩阵 Γ，其将逆费舍尔信息推广至随机优化领域。
• 该下界是紧致的：在光滑倾斜稳定性条件下，Nesterov 的对偶累积方法可达到该下界，从而证明其在直线性及某些非线性约束下的渐近最优性。
• 标准随机梯度方法无法在有限时间内识别约束，而所提出的对偶累积变体可保证有限时间内的约束识别。
• 对于具有非线性约束的问题，标准随机梯度方法被证明是次优的，因此必须采用黎曼随机梯度方法以实现渐近最优性。
• 下界中的矩阵 D 可显式地用目标函数、分布 P 和约束结构表示，从而将统计难度与几何稳定性联系起来。
• 所提出算法的收敛速率被证明在匹配所推导下界的意义上是最优的，且在适当缩放下估计误差具有渐近正态性。