[论文解读] Multi-Level Stochastic Gradient Methods for Nested Composition Optimization

Shuoguang Yang, Mengdi Wang+1 more|arXiv (Cornell University)|Jan 11, 2018

Risk and Portfolio Optimization参考文献 1被引用 5

一句话总结

本文提出了一种用于涉及 T 层期望的嵌套复合优化的多级随机梯度方法，采用基于时标的方法处理复杂的依赖关系。对于光滑目标函数，其收敛速率为 O(n⁻⁴/(7+T))；对于强凸情形，收敛速率为 O(n⁻⁴/(3+T))，显著优于多级设置下标准的随机梯度方法。

ABSTRACT

Stochastic gradient methods are scalable for solving large-scale optimization problems that involve empirical expectations of loss functions. Existing results mainly apply to optimization problems where the objectives are one- or two-level expectations. In this paper, we consider the multi-level compositional optimization problem that involves compositions of multi-level component functions and nested expectations over a random path. It finds applications in risk-averse optimization and sequential planning. We propose a class of multi-level stochastic gradient methods that are motivated from the method of multi-timescale stochastic approximation. First we propose a basic $T$-level stochastic compositional gradient algorithm, establish its almost sure convergence and obtain an $n$-iteration error bound $O (n^{-1/2^T})$. Then we develop accelerated multi-level stochastic gradient methods by using an extrapolation-interpolation scheme to take advantage of the smoothness of individual component functions. When all component functions are smooth, we show that the convergence rate improves to $O(n^{-4/(7+T)})$ for general objectives and $O (n^{-4/(3+T)})$ for strongly convex objectives. We also provide almost sure convergence and rate of convergence results for nonconvex problems. The proposed methods and theoretical results are validated using numerical experiments.

研究动机与目标

• 为解决在风险规避优化和序列决策中出现的大规模多层嵌套期望优化问题。
• 开发可扩展的随机梯度方法，无需显式了解各组件函数，仅依赖于一个样本预言机，在每一层返回带有噪声的梯度。
• 在最小光滑性假设下，为凸与非凸设置建立几乎必然收敛性及非渐近误差界。
• 通过引入外推-插值方案，利用组件函数的光滑性，提升收敛速率。

提出的方法

• 提出一种 T 层随机复合梯度（SCGD）算法，通过迭代查询样本预言机，估计嵌套复合中每一层的梯度。
• 采用多时标随机逼近框架，处理各层之间的序列依赖关系，即使在梯度估计具有噪声的情况下，也能确保稳定收敛。
• 引入外推-插值方案，通过利用各组件函数的光滑性，加速收敛过程。
• 通过分析误差在各层间的传播，利用递归不等式和李雅普诺夫函数，推导收敛速率。
• 使用一个样本预言机，返回每个组件函数 f(j) 及其复合函数的带噪声梯度，而无需对整体目标函数的梯度提供无偏估计。
• 应用最优性条件与强凸性假设，在有利的结构特性下推导出改进的收敛速率。

实验结果

研究问题

• RQ1 能否将随机梯度方法扩展至处理 T 层嵌套期望复合的问题，其中每一层依赖于前一层的随机变量？
• RQ2 当组件函数为光滑或强凸时，多级随机复合优化可实现何种收敛速率？
• RQ3 加速技术如何适应仅能获取带噪声、分量式梯度信息的多级随机设置？
• RQ4 层级数 T 对收敛速率有何影响？是否可通过算法设计减轻该影响？
• RQ5 在较弱的正则性条件下，能否为非凸多级随机复合问题建立几乎必然收敛性？

主要发现

• 在标准假设下，所提出的 T 层随机复合梯度方法对一般目标函数实现了几乎必然收敛速率 O(n⁻¹/²ᵀ)。
• 对于光滑组件函数，收敛速率提升至 O(n⁻⁴/(7+T))，表明利用光滑性可带来显著收益。
• 在强凸目标函数情形下，收敛速率进一步提升至 O(n⁻⁴/(3+T))，表明在结构假设下可实现加速收敛。
• 该方法在非凸问题中仍保持几乎必然收敛，且在光滑性假设下收敛速率为 O(n⁻⁴/(7+T))。
• 理论分析表明，随着 T 增大，收敛速率会下降，但加速方案可显著缓解这一退化现象。
• 数值实验验证了理论发现，表明所提方法在多级设置下优于基线随机梯度方法。