[论文解读] Long-term balanced allocation via thinning

Ohad N. Feldheim, Ori Gurel-Gurevich+1 more|arXiv (Cornell University)|Oct 11, 2021

Algorithms and Data Compression参考文献 28被引用 4

一句话总结

本文研究了球与桶模型的双次稀释变体，其中一名监督者可拒绝一次均匀随机的桶分配，并将球重新分配至另一个随机桶以实现负载均衡。该文提出了显式策略，使得典型最大负载以高概率达到 $(\log n)^{1/2+o(1)}$，与大规模 $m$ 下的最优单次负载相匹配；同时表明，所有时间内的最大负载为 $\Omega(\log n / \log\log n)$，该界紧致且不可避免，源于维持低典型负载与避免临时高负载峰值之间的权衡。

ABSTRACT

We study the long-term behavior of the two-thinning variant of the classical balls-and-bins model. In this model, an overseer is provided with uniform random allocation of $m$ balls into $n$ bins in an on-line fashion. For each ball, the overseer could reject its allocation and place the ball into a new bin drawn independently at random. The purpose of the overseer is to reduce the maximum load of the bins, which is defined as the difference between the maximum number of balls in a single bin and $m/n$, i.e., the average number of balls among all bins. We provide tight estimates for three quantities: the lowest maximum load that could be achieved at time $m$, the lowest maximum load that could be achieved uniformly over the entire time interval $[m]:=\{1, 2, \cdots, m\}$, and the lowest \emph{typical} maximum load that could be achieved over the interval $[m]$, where the typicality means that the maximum load holds for $1-o(1)$ portion of the times in $[m]$. We show that when $m$ and $n$ are sufficiently large, a typical maximum load of $(\log n)^{1/2+o(1)}$ can be achieved with high probability, asymptotically the same as the optimal maximum load that could be achieved at time $m$. However, for any strategy, the maximal load among all times in the interval $[m]$ is $Ω\big(\frac{\log n}{\log\log n}\big)$ with high probability. A strategy achieving this bound is provided. An explanation for this gap is provided by our optimal strategies as follows. To control the typical load, we restrain the maximum load for some time, during which we accumulate more and more bins with relatively high load. After a while, we have to employ for a short time a different strategy to reduce the number of relatively heavily loaded bins, at the expanse of temporarily inducing high load in a few bins.

研究动机与目标

• 分析双次稀释球与桶模型中的长期负载均衡行为，其中监督者可拒绝初始随机分配并重新分配至第二个桶。
• 刻画随时间变化的最小可实现最大负载，区分单次、全程和典型最大负载三种情形。
• 通过构造策略弥合最优单次负载与不可避免的全程最大负载之间的差距，实现在保持典型负载较低的同时管理临时负载峰值。
• 提供显式可实现的双次稀释策略，在高概率保证下实现渐近最优性能。

提出的方法

• 作者定义了三种负载度量：单次最大负载 $\mathrm{MaxLoad}^f(m)$，全程最大负载 $\mathrm{MaxLoad}^f([m])$，以及 $\varepsilon$-典型最大负载 $\mathrm{MaxLoad}^f_\varepsilon([m])$。
• 设计了一种双次稀释策略，交替执行负载降低阶段（以减少负载过重的桶）和负载维持阶段（以保持典型负载较低）。
• 分析采用鞅集中与切尔诺夫方法导出的指数矩界，以控制随时间推移的桶负载偏差。
• 关键技术工具包括对负载偏差的期望指数矩进行有界，以及应用递归不等式追踪各阶段中负载的演化。
• 策略采用时间分割方法：首先执行 $m_0 = \Theta(n \log n)$ 步的稳定阶段，随后进行 $m_2 = \Theta(n \log n)$ 步的平衡阶段，对负载波动实施精细控制。
• 通过并集界与尾部估计推导理论保证，表明以高概率，负载在 $1-o(1)$ 的时间内保持在 $O(\log n)^{1/2+o(1)}$ 以内。

实验结果

研究问题

• RQ1 在双次稀释球与桶模型中，时间上可实现的最小典型最大负载是多少？其中‘典型’指在 $1-o(1)$ 的分配步骤中成立。
• RQ2 最优全程最大负载与最优单次最大负载相比如何？其差距的根源是什么？
• RQ3 是否可设计一种策略，使典型最大负载渐近匹配最优单次负载，即使存在不可避免的临时负载峰值？
• RQ4 所有双次稀释策略中，全程最大负载的根本下界是什么？是否存在显式策略可达到该下界？
• RQ5 负载波动如何随时间演化？何种机制可在控制最坏情况峰值的同时维持低典型负载？

主要发现

• 当 $m = \omega(n\sqrt{\log n})$ 时，最优单次最大负载为 $\Theta((\log n)^{1/2+o(1)})$，且该界在低阶项内紧致。
• 对于任意双次稀释策略，全程最大负载以高概率为 $\Omega(\log n / \log\log n)$，且该界紧致。
• 当 $m = \Omega(n \log^2 n)$ 时，显式双次稀释策略实现的全程最大负载为 $\Theta(\log n / \log\log n)$，与下界匹配。
• 当 $m = \omega(n\sqrt{\log n})$ 时，典型最大负载以高概率为 $O((\log n)^{1/2+o(1)})$，与最优单次负载匹配。
• 典型最大负载与全程最大负载之间的差距源于在负载再平衡阶段不可避免的临时负载峰值，即使典型负载保持较低。
• 在 $m_0 = \Theta(n\log n)$ 步后，策略以高概率维持 $\max_i |L_i^{f}(k)| \leq 100d\log n$，确保系统稳定并支持进一步的负载控制。