[论文解读] Group-Fair Online Allocation in Continuous Time

Semih Çaycı, Swati Gupta+1 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Bandit Algorithms Research参考文献 47被引用 11

一句话总结

该论文提出了一种连续时间在线学习框架，用于在任务完成时间随机且存在截止时间约束的情况下，实现跨群体的公平资源分配。通过对偶上升优化方法，该框架在时间预算约束下实现了 $\tilde{O}(B^{-1/2})$ 的遗憾边界。该方法将奖励最大化、最大最小公平和比例公平分配统一为一个统一的效用最大化公式下的特例。

ABSTRACT

The theory of discrete-time online learning has been successfully applied in many problems that involve sequential decision-making under uncertainty. However, in many applications including contractual hiring in online freelancing platforms and server allocation in cloud computing systems, the outcome of each action is observed only after a random and action-dependent time. Furthermore, as a consequence of certain ethical and economic concerns, the controller may impose deadlines on the completion of each task, and require fairness across different groups in the allocation of total time budget $B$. In order to address these applications, we consider continuous-time online learning problem with fairness considerations, and present a novel framework based on continuous-time utility maximization. We show that this formulation recovers reward-maximizing, max-min fair and proportionally fair allocation rules across different groups as special cases. We characterize the optimal offline policy, which allocates the total time between different actions in an optimally fair way (as defined by the utility function), and impose deadlines to maximize time-efficiency. In the absence of any statistical knowledge, we propose a novel online learning algorithm based on dual ascent optimization for time averages, and prove that it achieves $ ilde{O}(B^{-1/2})$ regret bound.

研究动机与目标

• 解决在任务完成时间随机且存在硬性截止时间的在线序列决策问题中的公平性问题，尤其适用于在线招聘和云计算等场景。
• 构建一个连续时间效用最大化框架，以平衡不同任务完成时间分布下的奖励最大化与群体公平性。
• 设计一种在线学习算法，无需对奖励或完成时间分布的先验统计知识。
• 通过将截止时间纳入分配策略，确保时间效率，防止总时间预算 $B$ 的浪费。
• 在总奖励与群体公平性之间实现可证明的权衡，对遗憾和约束违反提供理论保证。

提出的方法

• 将问题形式化为具有时间预算 $B$ 的连续时间效用最大化问题，其中行动（招聘决策）具有随机完成时间，且仅在截止时间前完成才能产生奖励。
• 定义一个通用效用函数，使其可恢复为奖励最大化、最大最小公平和比例公平分配的特例。
• 利用拉格朗日对偶性推导最优离线策略，以平衡效用与时间约束，其中对偶变量代表公平性权重。
• 提出一种新颖的在线学习算法，基于对偶上升优化方法，用于时间平均性能，通过观测到的完成时间和奖励更新对偶变量。
• 使用李雅普诺夫漂移分析来界定遗憾和约束违反，证明算法收敛至最优效用，遗憾边界为 $\tilde{O}(B^{-1/2})$。
• 建立决策阶段数量 $N^\pi(B)$ 的高概率边界，表明在任意因果策略下其为 $\Theta(B)$，从而确保时间预算未被超出。

实验结果

研究问题

• RQ1 如何在具有随机任务完成时间和截止时间的连续时间在线分配中正式整合群体公平性？
• RQ2 在时间预算和公平性约束下，最大化效用的最优离线策略是什么？
• RQ3 能否设计一种无需奖励或完成时间分布先验知识的在线算法，实现次线性遗憾？
• RQ4 引入截止时间如何提升在固定时间预算下的资源分配时间效率？
• RQ5 总奖励与公平性之间的权衡是什么？如何在遗憾和约束违反方面对其进行定量界定？

主要发现

• 所提出的框架将奖励最大化、最大最小公平和比例公平分配统一为一个连续时间效用最大化公式的特例。
• 最优离线策略以平衡效用与公平性的方式在不同行动间分配时间，同时利用截止时间以最大化时间效率。
• 在线算法在无任何统计假设下实现了 $\tilde{O}(B^{-1/2})$ 的遗憾边界，该边界在时间预算 $B$ 上为次线性。
• 公平性约束违反以 $O(1/\sqrt{B \log B})$ 的速率满足，确保公平性可渐近保持。
• 决策阶段数量 $N^\pi(B)$ 以高概率为 $\Theta(B)$，证实时间预算被高效利用。
• 通过选择 $V = \Theta(\sqrt{N / \log N})$，算法在效用上与最优解的差距为 $O(\sqrt{\log N / N})$，其中 $N = \Theta(B)$。