[论文解读] Adaptive Algorithms for Online Convex Optimization with Long-term Constraints

Rodolphe Jenatton, Jim Huang+1 more|arXiv (Cornell University)|Dec 23, 2015

Advanced Bandit Algorithms Research参考文献 21被引用 10

一句话总结

本文提出了一种自适应在线梯度下降算法，用于具有长期约束的在线凸优化问题，其中约束需在时间上累积满足，而非在每一轮中立即满足。该方法在损失和约束违反方面分别实现了 $\mathcal{O}(T^{\max\{\beta,1-\beta\}})$ 和 $\mathcal{O}(T^{1-\beta/2})$ 的遗憾界，优于以往工作，消除了对 $T$ 的先验知识需求，并通过鞍点公式避免了昂贵的投影操作。

ABSTRACT

We present an adaptive online gradient descent algorithm to solve online convex optimization problems with long-term constraints , which are constraints that need to be satisfied when accumulated over a finite number of rounds T , but can be violated in intermediate rounds. For some user-defined trade-off parameter $β$ $\in$ (0, 1), the proposed algorithm achieves cumulative regret bounds of O(T^max{$β$,1--$β$}) and O(T^(1--$β$/2)) for the loss and the constraint violations respectively. Our results hold for convex losses and can handle arbitrary convex constraints without requiring knowledge of the number of rounds in advance. Our contributions improve over the best known cumulative regret bounds by Mahdavi, et al. (2012) that are respectively O(T^1/2) and O(T^3/4) for general convex domains, and respectively O(T^2/3) and O(T^2/3) when further restricting to polyhedral domains. We supplement the analysis with experiments validating the performance of our algorithm in practice.

研究动机与目标

• 解决在线凸优化问题，其中约束需在整个时间范围内累积满足，而非在每一轮中满足。
• 设计一种算法，通过使用更简单的包含集，避免对复杂约束集进行计算成本高昂的投影。
• 在无需提前知晓轮数 $T$ 的情况下，为损失和累积约束违反推导出次线性遗憾界。
• 在一般凸域和多面体凸域下，改进文献中已有的遗憾界，特别是 Mahdavi 等人（2012 年）的工作。

提出的方法

• 该算法采用鞍点公式，联合优化损失和长期约束，引入对偶变量以确保累积可行性。
• 采用随累积梯度范数平方根倒数自适应调整的步长 $\eta_t$，以实现更快收敛。
• 该方法将迭代限制在包含 $\mathcal{X}$ 的凸包含集 $\mathcal{B} \supseteq \mathcal{X}$ 内，避免了对 $\mathcal{X}$ 的每轮投影。
• 引入惩罚函数 $\theta_t \phi(\lambda)$ 以控制对偶变量的更新，其中 $\phi$ 的选择可确保稳定性和次线性遗憾。
• 分析利用微分不等式条件，推导出对偶变量和步长的界，从而实现损失与约束违反之间的最优权衡。
• 该算法实例化为一个凸且 1 强凸的惩罚函数 $\phi$，对偶更新涉及 Fenchel 共轭的 Moreau 包络。

实验结果

研究问题

• RQ1 我们能否设计一种自适应在线算法，在无需先验知识 $T$ 的情况下，同时实现损失和长期约束违反的次线性遗憾？
• RQ2 我们能否在保持强遗憾保证的同时，消除对复杂约束集进行昂贵每轮投影的需求？
• RQ3 在长期约束设置下，损失遗憾与约束违反遗憾之间的最优权衡是什么？
• RQ4 我们能否在已有工作最佳遗憾界 $\mathcal{O}(T^{1/2})$ 和 $\mathcal{O}(T^{3/4})$ 的基础上进一步改进？
• RQ5 自适应步长和惩罚函数如何影响迭代的收敛性和可行性？

主要发现

• 所提算法在损失函数上实现了 $\mathcal{O}(T^{\max\{\beta,1-\beta\}})$ 的累积遗憾，优于一般凸域下先前的最佳界 $\mathcal{O}(T^{1/2})$。
• 对于约束违反，算法实现了 $\mathcal{O}(T^{1-\beta/2})$ 的遗憾，优于先前最佳界 $\mathcal{O}(T^{3/4})$。
• 即使在理论遗憾界较差的情况下，该算法在实践中仍优于标准在线梯度下降，因其采用更大的有效步长，加速了收敛。
• 在 ijcnn1 和 covtype 数据集上的实验表明，该算法能保持在约束集内的可行性，并且累积遗憾低于基线 OGD。
• 当约束集为非多面体时，该方法依然有效，因为它通过在更简单的包含集 $\mathcal{B}$ 内操作，避免了直接投影。
• 分析表明，惩罚函数 $\phi$ 的选择显著影响遗憾界，其中二次增长和强凸性是实现稳定性的必要条件。