[论文解读] A Single Time-Scale Stochastic Approximation Method for Nested Stochastic Optimization

Saeed Ghadimi, Andrzej Ruszczyński+1 more|arXiv (Cornell University)|Dec 3, 2018

Stochastic Gradient Optimization Techniques参考文献 24被引用 8

一句话总结

该论文提出了一种嵌套平均随机逼近（NASA）算法，这是一种用于嵌套随机优化问题的单时间尺度随机优化方法，仅能获得梯度和函数值的噪声估计。该方法在寻找 ε-近似平稳点时实现了最优的 ${\cal O}(1/\varepsilon^{2})$ 样本复杂度，与单层次随机优化的最佳已知速率一致，并且在无需批量采样的情况下，对约束和无约束问题均适用。

ABSTRACT

We study constrained nested stochastic optimization problems in which the objective function is a composition of two smooth functions whose exact values and derivatives are not available. We propose a single time-scale stochastic approximation algorithm, which we call the Nested Averaged Stochastic Approximation (NASA), to find an approximate stationary point of the problem. The algorithm has two auxiliary averaged sequences (filters) which estimate the gradient of the composite objective function and the inner function value. By using a special Lyapunov function, we show that NASA achieves the sample complexity of ${\cal O}(1/ε^{2})$ for finding an $ε$-approximate stationary point, thus outperforming all extant methods for nested stochastic approximation. Our method and its analysis are the same for both unconstrained and constrained problems, without any need of batch samples for constrained nonconvex stochastic optimization. We also present a simplified variant of the NASA method for solving constrained single level stochastic optimization problems, and we prove the same complexity result for both unconstrained and constrained problems.

研究动机与目标

• 解决目标函数为两个光滑函数复合的约束嵌套随机优化问题，其中函数值和梯度均不可直接观测。
• 开发一种在单时间尺度上运行的随机逼近算法，避免对批量采样或独立时间尺度调参的需求。
• 在无约束和约束设置下，实现寻找 ε-近似平稳点的最优样本复杂度。
• 提出一种无需参数调节的变体方法，适用于单层次随机优化，并保持相同的复杂度保证。

提出的方法

• NASA 算法使用两个辅助平均序列（滤波器）来估计复合目标函数的梯度和内部函数值。
• 采用一种特殊的李雅普诺夫函数来分析收敛性并建立样本复杂度边界。
• 该方法使用递归更新，步长满足 $\tau_k \propto 1/\sqrt{k}$，以确保收敛。
• 该算法统一处理无约束和约束问题，无需单独处理或使用批量样本。
• 通过简化步长和正则化参数，推导出一种无参数变体，同时保持相同的收敛速率。
• 分析基于对梯度的利普希茨连续性和随机预言机输出中噪声有界的假设。

实验结果

研究问题

• RQ1 在部分信息条件下，单时间尺度随机逼近方法能否在嵌套随机优化中实现最优样本复杂度？
• RQ2 所提出的算法是否在无需批量采样的情况下，对无约束和约束问题均保持相同的收敛速率？
• RQ3 能否设计一种无参数的算法变体，使其在单层次随机优化中保持相同的复杂度边界？
• RQ4 在非凸嵌套随机优化问题中，能否实现 ${\cal O}(1/\varepsilon^2)$ 的样本复杂度以寻找 ε-近似平稳点？

主要发现

• NASA 算法在寻找 ε-近似平稳点时实现了 ${\cal O}(1/\varepsilon^2)$ 的样本复杂度，与单层次随机梯度方法的最佳已知速率一致。
• 收敛性分析和复杂度边界在无约束和约束问题中均成立，无需批量样本或独立的时间尺度调整。
• 在更宽松的随机预言机假设下（如第 3 条假设所形式化），该方法表现出鲁棒性，允许更一般的噪声结构。
• NASA 的无参数变体在单层次随机优化问题中仍保持相同的 ${\cal O}(1/\varepsilon^2)$ 样本复杂度。
• 通过一种新颖的李雅普诺夫函数，理论保证得以建立，该函数同时追踪迭代点和梯度估计误差的演化。
• 在标准步长条件下，证明了渐近收敛至平稳点，且累积点的几乎 surely 收敛性满足最优性条件。