[论文解读] Finite-sum Composition Optimization via Variance Reduced Gradient Descent

Xiangru Lian, Mengdi Wang+1 more|arXiv (Cornell University)|Oct 15, 2016

Stochastic Gradient Optimization Techniques参考文献 20被引用 7

一句话总结

本文提出两种新颖的方差缩减算法——组合SVRG-1与组合SVRG-2，用于有限和组合优化问题，通过将随机组合梯度下降与SVRG技术相结合。关键贡献在于：对于强凸问题实现了线性收敛速率，显著优于先前方法的次线性O(K⁻⁰.⁸)速率，其查询复杂度分别为O((m + n + ˜κ₁⁴) log(1/ϵ))与O((m + n + ˜κ₂³) log(1/ϵ))。

ABSTRACT

The stochastic composition optimization proposed recently by Wang et al. [2014] minimizes the objective with the compositional expectation form: $\min_x~(\mathbb{E}_iF_i \circ \mathbb{E}_j G_j)(x).$ It summarizes many important applications in machine learning, statistics, and finance. In this paper, we consider the finite-sum scenario for composition optimization: \[\min_x f (x) := \frac{1}{n} \sum_{i = 1}^n F_i \left(\frac{1}{m} \sum_{j = 1}^m G_j (x) ight). \] We propose two algorithms to solve this problem by combining the stochastic compositional gradient descent (SCGD) and the stochastic variance reduced gradient (SVRG) technique. A constant linear convergence rate is proved for strongly convex optimization, which substantially improves the sublinear rate $O(K^{-0.8})$ of the best known algorithm.

研究动机与目标

• 为解决机器学习与金融领域中目标函数由分量函数经验均值构成的有限和组合优化挑战。
• 克服现有随机组合梯度方法所具有的次线性收敛速率O(K⁻⁰.⁸)，该速率慢于标准随机优化的最优O(K⁻¹)。
• 通过降低梯度方差，设计高效算法，实现强凸有限和组合优化问题的线性收敛。
• 建立理论查询复杂度边界，使其随问题条件数与数据集规模呈有利增长。
• 提供适用于一般有限和组合优化的首个线性收敛算法，填补了文献中的关键空白。

提出的方法

• 将随机组合梯度下降（SCGD）与SVRG的方差缩减技术相结合，以稳定并加速收敛。
• 提出两种变体：组合SVRG-1与组合SVRG-2，其差异在于对内层与外层函数梯度的处理方式。
• 在每个周期开始时，使用迭代点的快照计算控制变量，以减少随机梯度估计的方差。
• 采用两级采样策略：从两个固定的经验证据数据集中随机选择分量函数Gi与Fj以计算梯度。
• 应用递归梯度更新规则，利用组合结构F(G(x))的同时，保持低存储与计算成本。
• 通过条件数变体˜κ₁与˜κ₂界定期望次优间隙，推导出理论收敛保证。

实验结果

研究问题

• RQ1 能否有效将类似SVRG的方差缩减技术适配到有限和组合优化设置中，以实现线性收敛？
• RQ2 此类方差缩减算法在强凸有限和组合优化问题中的理论查询复杂度是多少？
• RQ3 条件数˜κ₁与˜κ₂如何影响所提算法的收敛速率与查询复杂度？
• RQ4 在实际中，所提算法能否优于现有随机组合梯度方法，特别是在高条件数情形下？
• RQ5 是否能够实现与经典SVRG匹配的查询复杂度O((m + n + κ) log(1/ϵ))，还是对条件数的更高依赖不可避免？

主要发现

• 所提的组合SVRG-1与组合SVRG-2在强凸有限和组合优化问题中实现了线性收敛速率，相较于先前方法的次线性O(K⁻⁰.⁸)速率有显著提升。
• 组合SVRG-1的查询复杂度为O((m + n + ˜κ₁⁴) log(1/ϵ))，组合SVRG-2为O((m + n + ˜κ₂³) log(1/ϵ))，两者均对所需精度ϵ呈对数依赖。
• 实验结果表明，两种算法均呈线性收敛，且在性能上优于基准方法如组合SGD与加速组合SGD，尤其当条件数增大时优势更明显。
• 当条件数κcov较大时，组合SVRG-2在性能上优于组合SVRG-1，这与其对˜κ₂³更优的理论依赖性一致。
• 在实际应用中（如均值-方差投资组合优化），这些算法表现出色，能以更少的Oracle查询实现更快收敛。
• 本研究首次建立了适用于一般有限和组合优化的线性收敛算法的理论框架，为未来研究开辟了新方向。