[论文解读] Local Minimax Complexity of Stochastic Convex Optimization

Yuancheng Zhu, Sabyasachi Chatterjee+2 more|arXiv (Cornell University)|May 24, 2016

Stochastic Gradient Optimization Techniques参考文献 13被引用 8

一句话总结

本文提出了一种用于随机凸优化的局部极小极大复杂度框架，为实现给定精度所需随机次梯度查询次数提供了与函数相关的下界和上界。它定义了统计连续模的计算类比，表明该基准具有超效率，并且在一维情况下，可通过基于二分查找的算法自适应地逼近该基准，仅相差对数因子。

ABSTRACT

We extend the traditional worst-case, minimax analysis of stochastic convex optimization by introducing a localized form of minimax complexity for individual functions. Our main result gives function-specific lower and upper bounds on the number of stochastic subgradient evaluations needed to optimize either the function or its "hardest local alternative" to a given numerical precision. The bounds are expressed in terms of a localized and computational analogue of the modulus of continuity that is central to statistical minimax analysis. We show how the computational modulus of continuity can be explicitly calculated in concrete cases, and relates to the curvature of the function at the optimum. We also prove a superefficiency result that demonstrates it is a meaningful benchmark, acting as a computational analogue of the Fisher information in statistical estimation. The nature and practical implications of the results are demonstrated in simulations.

研究动机与目标

• 开发一种函数特定的复杂度分析，超越随机凸优化中函数类的最坏情况极小极大边界。
• 定义一种局部极小极大复杂度，以量化优化特定凸函数及其最难替代函数的内在难度。
• 建立统计连续模的计算类比作为优化复杂度的基准。
• 证明超效率结果，表明在某一函数上超越该基准，必然导致在另一函数上性能更差。
• 设计并分析一种自适应二分查找算法，该算法在一维设置下可达到局部极小极大复杂度，仅相差对数因子。

提出的方法

• 提出局部极小极大复杂度 $ R_T(f; \mathcal{F}) $，即在最优算法优化目标函数 $ f $ 或其最难替代函数 $ g \in \mathcal{F} $ 时，最坏情况下的期望误差。
• 引入计算连续模 $ \omega_f(\epsilon) $，通过邻近点处次微分之间的距离定义，作为刻画局部复杂度的关键工具。
• 证明局部极小极大复杂度的下界为 $ \omega_f(\epsilon) $，并给出该下界紧致的条件。
• 设计一种基于二分查找的一维自适应算法，通过查询随机预言机并根据次梯度估计值缩小搜索区间。
• 证明该算法的期望误差收敛速率与局部极小极大复杂度一致，仅相差对数因子。
• 利用集中不等式和次微分距离的性质，控制迭代过程中丢失最优区域的概率。

实验结果

研究问题

• RQ1 如何将随机凸优化中的极小极大复杂度局部化到单个函数，而非函数类的最坏情况？
• RQ2 统计连续模的计算类比是什么？它如何刻画优化特定凸函数的难度？
• RQ3 能否证明局部极小极大复杂度基准具有超效率，即不存在算法能在所有函数上一致超越该基准？
• RQ4 在实践中，自适应算法在多大程度上可实现局部极小极大复杂度，特别是在一维设置下？
• RQ5 函数在最小值处的曲率如何与其局部极小极大复杂度及所需随机次梯度查询次数相关？

主要发现

• 局部极小极大复杂度的下界为计算连续模 $ \omega_f(\epsilon) $，后者量化了次微分在最优解附近对扰动的敏感性。
• 本文证明了超效率结果：任何算法若在某一函数上超越局部极小极大基准，则必然在另一函数上产生更大的误差。
• 自适应二分查找算法在一维凸优化中可达到局部极小极大复杂度，仅相差对数因子。
• 对于计算连续模具有多项式增长的函数，算法的收敛速率匹配 $ \widetilde{C} \omega_f(1/\sqrt{T}) $，其中 $ \widetilde{C} $ 依赖于问题参数。
• 计算连续模对许多函数可显式计算，并与最小值处的曲率直接相关。
• 模拟结果表明，与标准随机梯度下降相比，该自适应算法在最小值附近曲率较高的函数上收敛速度更快。