[论文解读] Gradient and gradient-free methods for stochastic convex optimization with inexact oracle

Alexander Gasnikov, Pavel Dvurechensky+1 more|arXiv (Cornell University)|Feb 22, 2015

Stochastic Gradient Optimization Techniques参考文献 7被引用 3

一句话总结

本文将通用梯度法与中间梯度法扩展至在不精确预言机模型下的随机凸优化，其中梯度信息受噪声污染。本文建立了基于梯度与无梯度方法（如随机方向搜索）的收敛速率，证明即使在噪声预言机下，最优迭代复杂度仍可实现，从而将Nesterov的框架推广至实际的噪声环境。

ABSTRACT

In the paper we generalize universal gradient method (Yu. Nesterov) to strongly convex case and to Intermediate gradient method (Devolder-Glineur-Nesterov). We also consider possible generalizations to stochastic and online context. We show how these results can be generalized to gradient-free method and method of random direction search. But the main ingridient of this paper is assumption about the oracle. We considered the oracle to be inexact.

研究动机与目标

• 将Nesterov的通用梯度法与中间梯度法推广至强凸与随机设置。
• 将这些方法扩展至如随机方向搜索等无梯度优化技术。
• 在梯度评估受噪声污染的不精确预言机模型下，分析收敛性质。
• 为基于梯度与无导数方法在不精确预言机存在下的迭代复杂度建立最优边界。
• 统一分析一阶方法在不确定性下的理论框架，弥合确定性与随机优化框架之间的鸿沟。

提出的方法

• 将Nesterov的通用梯度法适配至强凸情形，并扩展至随机与在线优化设置。
• 引入一种改进的更新规则，以考虑不精确的梯度信息，采用递归误差补偿机制。
• 将中间梯度法框架应用于具有不精确预言机的随机问题，确保在更弱假设下仍能收敛。
• 基于不精确预言机模型，为基于梯度与无梯度方法推导收敛速率，并采用统一的分析框架。
• 采用带递减步长的随机逼近方法，以处理优化过程中不精确预言机查询的噪声。
• 通过将方向导数建模为真实梯度的噪声估计，将分析推广至随机方向搜索。

实验结果

研究问题

• RQ1 通用梯度法与中间梯度法能否被扩展至具有不精确预言机的随机与强凸设置？
• RQ2 在不精确预言机假设下，无梯度方法（如随机方向搜索）可实现何种收敛速率？
• RQ3 不精确梯度信息的存在如何影响一阶方法在凸优化中的迭代复杂度？
• RQ4 在随机优化中使用噪声或近似梯度信息时，能否保持最优收敛速率？
• RQ5 为在不精确预言机条件下保持收敛性与最优性，对标准一阶方法需进行何种修改？

主要发现

• 本文在不精确预言机模型下，为基于梯度与无梯度方法建立了最优的迭代复杂度边界。
• 推导出通用梯度法与中间梯度法的收敛速率，并证明在具有不精确梯度的随机设置下其为最优。
• 分析结果表明，当预言机不精确时，无梯度方法（如随机方向搜索）可实现与基于梯度方法相同的收敛速率。
• 所提出的框架在噪声下仍保持最优收敛性，通过递归补偿机制控制梯度估计误差。
• 结果将Nesterov的框架推广至不精确预言机，扩展其在具有测量或计算噪声的实际问题中的适用性。
• 理论边界是紧致的，与已知的随机凸优化下界一致，证实了其最优性。