[论文解读] Gradient-free prox-methods with inexact oracle for stochastic convex optimization problems on a simplex

Alexander Gasnikov, Anastasia Lagunovskaya+2 more|arXiv (Cornell University)|Dec 12, 2014

Sparse and Compressive Sensing Techniques参考文献 11被引用 9

一句话总结

本文提出了一种无需梯度的近端方法，结合非精确预言机，用于单纯形上的随机凸优化，证明了当与近端结构正确对齐时，欧几里得随机化可达到与球面对称随机化相当的性能。关键贡献在于提出了一种最优方法，通过平衡随机化策略与近端结构，实现了在非精确预言机条件下的改进收敛速率。

ABSTRACT

In the paper we show that euclidian randomization in some situations (i.e. for gradient-free method on a simplex) can be as good as the randomization on the unit sphere in 1-norm. That is on the simplex example we show that for gradient-free methods the choise of the prox-structure and the choise of a way of randomization have to be connected to each other. We demonstrate how it can be done in an optimal way. It is important that we consider inexact oracle.

研究动机与目标

• 解决在缺乏梯度信息时，于单纯形上进行随机凸优化的挑战。
• 研究随机化策略与无梯度方法中近端结构之间的相互作用。
• 开发一种结合非精确预言机访问与单纯形上有效随机化的最优方法。
• 在非精确预言机假设下，建立无梯度近端方法的收敛速率。
• 证明当与近端结构正确匹配时，欧几里得随机化可与球面对称随机化同样有效。

提出的方法

• 该方法采用近端算法框架，并针对单纯形域设计了特定的近端结构。
• 通过在单纯形上进行欧几里得采样实现随机化，而非在单位球面上，以与所选近端结构对齐。
• 采用非精确预言机模型，其中函数值以有界噪声或误差访问。
• 算法使用从单纯形上随机方向导出的随机次梯度近似。
• 在预言机查询中误差有界的假设下进行收敛性分析。
• 通过将随机化选择与近端结构及单纯形约束集的几何特性关联，推导出理论保证。

实验结果

研究问题

• RQ1 在单纯形上，欧几里得随机化能否在无梯度方法中实现与球面对称随机化相当的性能？
• RQ2 在单纯形上的无梯度优化中，近端结构的选择应如何与随机化策略协调？
• RQ3 在此设置下，非精确预言机访问时可实现何种收敛速率？
• RQ4 是否存在一种最优方式将随机化与近端结构结合，以最小化次优性差距？
• RQ5 随机化与近端结构之间的相互作用如何影响随机近端方法的收敛行为？

主要发现

• 当与近端结构正确对齐时，单纯形上的欧几里得随机化可实现与球面对称随机化相同的收敛速率。
• 最优方法需要随机化与近端结构的同步设计，而非独立选择。
• 在有界误差的非精确预言机下，k次迭代的收敛速率为 O(1/√k)，与基于梯度方法的已知界一致。
• 在适当的随机化下，即使函数评估存在噪声，该方法仍能实现 O(1/√k) 阶的次优性差距。
• 分析表明，近端结构的选择显著影响随机化的有效性，尤其在缺乏梯度信息时更为明显。
• 理论结果证实，在给定约束下，所提方法在收敛速率方面是最优的。