[论文解读] Almost surely constrained convex optimization

Olivier Fercoq, Ahmet Alacaoglu+2 more|arXiv (Cornell University)|Jan 31, 2019

Stochastic Gradient Optimization Techniques参考文献 30被引用 11

一句话总结

本文提出了一种随机梯度算法 SASC，用于求解必须以几乎必然方式满足的无限多个线性包含约束的凸优化问题。通过利用 Nesterov 的平滑化与同伦技术，SASC 避免了昂贵的矩阵值投影，对于一般凸目标函数实现了最优的 $Ø(\log(k)/\sqrt{k})$ 收敛速率，对于受限强凸目标函数实现了最优的 $\u00d8(\log(k)/k)$ 收敛速率，且无需调节正则化参数。

ABSTRACT

We propose a stochastic gradient framework for solving stochastic composite convex optimization problems with (possibly) infinite number of linear inclusion constraints that need to be satisfied almost surely. We use smoothing and homotopy techniques to handle constraints without the need for matrix-valued projections. We show for our stochastic gradient algorithm $\mathcal{O}(\log(k)/\sqrt{k})$ convergence rate for general convex objectives and $\mathcal{O}(\log(k)/k)$ convergence rate for restricted strongly convex objectives. These rates are known to be optimal up to logarithmic factors, even without constraints. We demonstrate the performance of our algorithm with numerical experiments on basis pursuit, a hard margin support vector machines and a portfolio optimization and show that our algorithm achieves state-of-the-art practical performance.

研究动机与目标

• 解决必须以几乎必然方式满足无限多个线性约束的随机凸优化问题。
• 消除随机约束处理中对矩阵值投影的需求，该需求在高维设置下计算成本过高。
• 开发一种无需调节参数的算法，避免现有方法中常见的正则化参数启发式调优。
• 在几乎必然约束下，为一般凸目标与受限强凸目标建立最优收敛速率。
• 在实际问题（如投资组合优化与硬边界 SVM）中展示方法的优越性。

提出的方法

• 该算法使用 Nesterov 的平滑化技术处理几乎必然约束，将约束问题转化为平滑近似。
• 应用同伦延续法逐步优化平滑参数，以实现对真实解的收敛。
• 使用期望目标函数 $F(x) = \mathbb{E}_\xi[f(x,\xi)]$ 的随机梯度，结合近端算子处理非光滑项 $h(x)$。
• 该方法仅需对随机集合 $b(\xi)$ 进行投影，避免了对矩阵值约束集合的昂贵投影。
• 基于理论分析推导出步长规则，确保收敛性且无需用户调参。
• 该框架可推广至包含利普希茨连续函数与指示函数的复合问题。

实验结果

研究问题

• RQ1 能否设计一种随机一阶方法，以几乎必然方式处理无限多个线性约束，且无需矩阵值投影？
• RQ2 此类问题可实现何种收敛速率，且是否在对数因子意义下最优？
• RQ3 能否使该方法实现无参数化，从而在 SVM 与投资组合优化等应用中消除正则化参数调优需求？
• RQ4 与现有基于投影或基于正则化的算法相比，该方法在实际中的性能表现如何？
• RQ5 平滑化与同伦技术能否有效扩展至具有几乎必然约束的随机优化问题？

主要发现

• 所提出的 SASC 算法对一般凸目标函数实现了 $\tilde{\mathcal{O}}(\log(k)/\sqrt{k})$ 的收敛速率，与无约束设置下的最佳已知速率一致。
• 对于受限强凸目标函数，SASC 达到了 $\tilde{\mathcal{O}}(\log(k)/k)$ 的收敛速率，该速率在对数因子意义下为最优。
• 在基追踪、硬边界 SVM 与投资组合优化中的数值实验表明，SASC 在无需正则化参数调优的情况下，性能优于或匹配现有最先进方法。
• 在投资组合优化中，SASC 展现出迭代次数与解距离的稳定下降，而 SPP 在大步长下易出现停滞，小步长下则收敛缓慢。
• 在 SVM 任务中，SASC 在不同正则化参数下性能与 Pegasos 相当，同时消除了对参数调优的需求。
• 该算法通过求解一系列自适应正则化的软边界问题，直接求解了硬边界 SVM 问题，避免了对固定 $C$ 的依赖。