[论文解读] Minimax Regret of Switching-Constrained Online Convex Optimization: No Phase Transition

Lin Chen, Qian Yu+2 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Bandit Algorithms Research参考文献 22被引用 9

一句话总结

该论文确定了切换约束在线凸优化（OCO）的极小极大后悔值为 Θ(T/√K)，证明在一维情况下其下界为 Ω(T/√(2K))，在高维情况下为 Ω(T/√K)，并通过一种小批量算法实现了紧致的 O(T/√K) 上界。与离散情形不同，连续设置下不存在相变现象，且最优速率可在不依赖 K 的制度切换下实现。

ABSTRACT

We study the problem of switching-constrained online convex optimization (OCO), where the player has a limited number of opportunities to change her action. While the discrete analog of this online learning task has been studied extensively, previous work in the continuous setting has neither established the minimax rate nor algorithmically achieved it. In this paper, we show that $ T $-round switching-constrained OCO with fewer than $ K $ switches has a minimax regret of $ Θ(\frac{T}{\sqrt{K}}) $. In particular, it is at least $ \frac{T}{\sqrt{2K}} $ for one dimension and at least $ \frac{T}{\sqrt{K}} $ for higher dimensions. The lower bound in higher dimensions is attained by an orthogonal subspace argument. In one dimension, a novel adversarial strategy yields the lower bound of $O(\frac{T}{\sqrt{K}})$, but a precise minimax analysis including constants is more involved. To establish the tighter one-dimensional result, we introduce the \emph{fugal game} relaxation, whose minimax regret lower bounds that of switching-constrained OCO. We show that the minimax regret of the fugal game is at least $ \frac{T}{\sqrt{2K}} $ and thereby establish the optimal minimax lower bound in one dimension. To establish the dimension-independent upper bound, we next show that a mini-batching algorithm provides an $ O(\frac{T}{\sqrt{K}}) $ upper bound, and therefore conclude that the minimax regret of switching-constrained OCO is $ Θ(\frac{T}{\sqrt{K}}) $ for any $K$. This is in sharp contrast to its discrete counterpart, the switching-constrained prediction-from-experts problem, which exhibits a phase transition in minimax regret between the low-switching and high-switching regimes.

研究动机与目标

• 为填补切换约束在线凸优化（OCO）中极小极大后悔率理解上的空白，此前研究尚未确定该速率，也未在算法层面实现该速率。
• 解决连续 OCO 设置在切换次数受限时是否表现出类似离散情形（如专家预测问题）的相变现象。
• 推导出与维度无关、且常数因子最优的极小极大后悔的紧致上下界。
• 引入并分析 fugal game 放松方法，作为建立一维极小极大下界的关键工具。
• 设计并分析一种小批量算法，实现最优的 O(T/√K) 极小极大后悔上界。

提出的方法

• 引入 fugal game 放松，一种新颖的博弈论框架，用于下界估计切换约束 OCO 的极小极大后悔值。
• 在一维情形下设计一种新颖的对抗性策略，证明极小极大后悔的 Ω(T/√(2K)) 下界。
• 利用正交子空间论证方法，推导出高维情形下的 Ω(T/√K) 下界。
• 提出一种小批量算法，将 T 轮划分为 K 个批次，并在每个批次内应用标准 OCO 算法。
• 证明该小批量算法可实现 O(T/√K) 的极小极大后悔上界，与下界一致。
• 确立对于任意 K，极小极大后悔值为 Θ(T/√K)，且在低切换与高切换 regimes 之间无相变。

实验结果

研究问题

• RQ1 切换约束 OCO 在一维和高维情形下的极小极大后悔率是多少？
• RQ2 在切换约束下，连续 OCO 设置是否表现出类似离散“从专家预测”问题的后悔行为相变？
• RQ3 能否在一维情形下建立极小极大后悔的紧致下界，包括常数因子？
• RQ4 是否存在一种简单、高效的算法，可在切换约束 OCO 设置下实现最优的 O(T/√K) 忽略率？
• RQ5 极小极大后悔如何随允许的切换次数 K 变化？其是否依赖于维度？

主要发现

• 切换约束 OCO 的极小极大后悔值为 Θ(T/√K)，在低切换与高切换 regimes 之间无相变。
• 在一维情形下，极小极大后悔至少为 T/√(2K)，且该界是紧致的，通过 fugal game 放松方法得以确立。
• 在高维情形下，极小极大后悔至少为 T/√K，通过正交子空间论证方法证明。
• 小批量算法实现了 O(T/√K) 的极小极大后悔上界，与下界一致，从而证明了最优性。
• 极小极大后悔与维度无关，且不会随维度增加而恶化。
• 该结果与离散切换约束的“从专家预测”问题形成鲜明对比，后者表现出后悔尺度的相变。