[论文解读] A Light Touch for Heavily Constrained SGD

Andrew Cotter, Maya R. Gupta+1 more|arXiv (Cornell University)|Dec 15, 2015

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文提出 LightTouch，一种用于大规模凸优化问题的随机优化方法，该问题具有大量约束条件，且每轮迭代仅通过动态更新的约束概率分布检查其中一部分约束。该方法将约束检查次数显著减少至与 m 的对数关系，同时保持收敛性，在包含 24,576 个约束的实际排序任务中，其运行时间优于投影随机梯度下降（Projected SGD）。

ABSTRACT

Minimizing empirical risk subject to a set of constraints can be a useful strategy for learning restricted classes of functions, such as monotonic functions, submodular functions, classifiers that guarantee a certain class label for some subset of examples, etc. However, these restrictions may result in a very large number of constraints. Projected stochastic gradient descent (SGD) is often the default choice for large-scale optimization in machine learning, but requires a projection after each update. For heavily-constrained objectives, we propose an efficient extension of SGD that stays close to the feasible region while only applying constraints probabilistically at each iteration. Theoretical analysis shows a compelling trade-off between per-iteration work and the number of iterations needed on problems with a large number of constraints.

研究动机与目标

• 解决在处理大量约束条件时，投影随机梯度下降（SGD）所面临的计算瓶颈问题。
• 降低在约束优化中每轮迭代的约束评估成本，尤其适用于约束数量众多但仅有少量在最优解处活跃的情况。
• 开发一种实用算法，在最小化每轮迭代约束检查次数的同时保持可行性，从而提升大规模机器学习问题的可扩展性。
• 分析并展示在总约束检查次数方面的改进收敛速率，尤其针对具有大量约束的问题。

提出的方法

• 该方法使用随时间演变的约束概率分布，使每轮迭代集中于最违反的约束。
• 在每轮迭代中，仅随机采样一小部分约束进行检查，并根据这些采样的约束将解向可行方向微调。
• 该算法维护约束违反程度的运行估计，并更新采样分布以优先选择违反更严重的约束，从而减少对非活跃约束的检查次数。
• 提出了一种变体 MidTouch，适用于强凸目标函数，通过利用强凸性实现更优的收敛速率。
• 该方法通过轻量级的概率性执行策略避免每一步的完整投影，仅在最后进行一次投影。
• 通过动态小批量技术增强方法，以在随机更新的三个组成部分（目标梯度、约束采样和投影）之间平衡方差与计算成本。

实验结果

研究问题

• RQ1 我们能否在不牺牲收敛性的前提下，显著减少在具有极多约束条件的问题中，投影 SGD 每轮迭代的约束检查次数？
• RQ2 如何高效识别并聚焦于大规模约束集合中最相关（即最违反）的约束？
• RQ3 在大规模约束优化中，每轮计算与总约束检查次数之间的理论权衡是什么？
• RQ4 概率性约束采样策略能否在运行时间和可行性方面实现与完整投影方法相当或更优的收敛性能？

主要发现

• 对于非强凸问题，达到 ϵ-次优性所需的总约束检查次数从 O(m/ϵ²) 降低至 Õ((ln m)/ϵ² + m(ln m)^1.5/ϵ^1.5)。
• 对于 λ-强凸目标函数，约束检查中的主导项从 O(m/λ²ϵ) 降低至 Õ((ln m)/λ²ϵ)，在 m 上的渐近依赖关系得到改善。
• 在实践中，LightTouch 每轮迭代的约束检查次数少于 FullTouch 和 ApproxSGD，且随着优化过程推进，每轮检查次数持续下降。
• 在包含 24,576 个约束和 612,587 个样本的真实 YouTube 排序问题中，尽管约束检查成本较低，LightTouch 在实际运行时间上仍优于 FullTouch 和 ApproxSGD。
• 当约束数量更多或约束检查更昂贵时，该算法的性能优势预计将进一步扩大，此时维护分布的 O(m) 成本将不再占主导地位。