[论文解读] Fast Learning for Renewal Optimization in Online Task Scheduling

Michael J. Neely|arXiv (Cornell University)|Jul 18, 2020

Advanced Bandit Algorithms Research参考文献 28被引用 8

一句话总结

本文提出了一种新颖的在线学习算法，用于处理任务类型分布未知的更新-奖励系统。该算法采用罗宾斯-蒙罗风格的辅助变量更新，使一般情况下最优性差距以 $O(1/\tilde{k})$ 的速率衰减，强凸性条件下则为 $O(\log(k)/k)$，并建立了匹配的下界，证明了收敛速率的最优性。

ABSTRACT

This paper considers online optimization of a renewal-reward system. A controller performs a sequence of tasks back-to-back. Each task has a random vector of parameters, called the task type vector, that affects the task processing options and also affects the resulting reward and time duration of the task. The probability distribution for the task type vector is unknown and the controller must learn to make efficient decisions so that time average reward converges to optimality. Prior work on such renewal optimization problems leaves open the question of optimal convergence time. This paper develops an algorithm with an optimality gap that decays like $O(1/\sqrt{k})$, where $k$ is the number of tasks processed. The same algorithm is shown to have faster $O(\log(k)/k)$ performance when the system satisfies a strong concavity property. The proposed algorithm uses an auxiliary variable that is updated according to a classic Robbins-Monro iteration. It makes online scheduling decisions at the start of each renewal frame based on this variable and on the observed task type. A matching converse is obtained for the strongly concave case by constructing an example system for which all algorithms have performance at best $Ω(\log(k)/k)$. A matching $Ω(1/\sqrt{k})$ converse is also shown for the general case without strong concavity.

研究动机与目标

• 为解决在线更新优化中在缺乏任务类型分布先验知识情况下的最优收敛时间这一开放问题。
• 设计一种能从观测到的任务类型中高效学习并实现时间平均奖励接近最优离线基准的算法。
• 建立收敛速率的紧致上下界，证明在一般情形和强凸情形下的最优性。
• 开发一种实用的在线算法，通过仅使用当前观测和学习到的辅助变量，实现逐帧自适应决策。

提出的方法

• 该算法通过罗宾斯-蒙罗随机逼近迭代维护一个辅助变量，以估计最优对偶变量。
• 在每个时隙开始时，控制器根据观测到的任务类型和当前辅助变量选择任务处理模式。
• 利用确保收敛至最优解且方差递减的步长序列更新辅助变量。
• 该方法借助条件期望和鞅论论证证明收敛性并推导性能界。
• 通过条件期望论证与反证法，证明估计的对偶变量几乎必然收敛至最优值。
• 通过在一般情形和强凸情形下构造匹配的下界，证明该算法的最优性。

实验结果

研究问题

• RQ1 在任务类型分布未知的更新系统中，在线算法收敛至最优时间平均奖励的最快可能速率是多少？
• RQ2 在强凸性等附加结构假设下，所提算法能否实现优于 $O(1/\sqrt{k})$ 的收敛速度？
• RQ3 在强凸情形下，$O(\log k / k)$ 的收敛速率是否紧致，即是否存在更优的算法？
• RQ4 在缺乏分布先验知识的情况下，在线更新优化的收敛速率的根本极限是什么？
• RQ5 是否存在一种单一算法，可在缺乏分布知识的情况下同时实现最优收敛速率与自适应能力？

主要发现

• 所提算法在一般情形下实现最优性差距为 $O(1/\sqrt{k})$，其中 $k$ 为已处理任务数。
• 在强凸性条件下，最优性差距以 $O\left(\log k / k\right)$ 的速率衰减，快于一般情形。
• 证明了匹配的反向结论：在强凸情形下，任何算法都无法实现优于 $\Omega(\log k / k)$ 的收敛速率。
• 另一项反向结论表明，在无强凸性的一般情形下，$\Omega(1/\sqrt{k})$ 是根本极限。
• 该算法在两种情形下均为最优，因为上下界仅相差常数因子。
• 证明依赖于构造一个反例系统以确立下界，表明该算法的性能无法在渐近意义上进一步提升。