[论文解读] An adaptive stochastic optimization algorithm for resource allocation

Xavier Fontaine, Shie Mannor+1 more|arXiv (Cornell University)|Feb 12, 2019

Advanced Bandit Algorithms Research参考文献 9被引用 4

一句话总结

本文提出了一种自适应随机优化算法，用于在回报递减条件下进行序列资源分配，利用噪声梯度反馈和 Łojasiewicz 不等式，实现与问题自适应的收敛速率。该算法可动态调整奖励函数的正则性（以 Łojasiewicz 指数衡量），在强凹函数（快速）和线性函数（经典 bandit）情形下实现最优遗憾率，并在中间正则性区间内无需事先知晓正则性参数即可实现性能提升。

ABSTRACT

We consider the classical problem of sequential resource allocation where a decision maker must repeatedly divide a budget between several resources, each with diminishing returns. This can be recast as a specific stochastic optimization problem where the objective is to maximize the cumulative reward, or equivalently to minimize the regret. We construct an algorithm that is {\em adaptive} to the complexity of the problem, expressed in term of the regularity of the returns of the resources, measured by the exponent in the Łojasiewicz inequality (or by their universal concavity parameter). Our parameter-independent algorithm recovers the optimal rates for strongly-concave functions and the classical fast rates of multi-armed bandit (for linear reward functions). Moreover, the algorithm improves existing results on stochastic optimization in this regret minimization setting for intermediate cases.

研究动机与目标

• 解决在噪声梯度反馈下，奖励函数未知且为凹函数的序列资源分配挑战。
• 设计一种可自适应奖励函数内在正则性的算法，正则性由 Łojasiewicz 指数或通用凹性参数衡量。
• 在所有正则性水平下（从强凹到线性）实现最优遗憾率，且无需事先知晓问题的复杂度。
• 通过利用梯度反馈和自适应采样策略，在遗憾最小化方面优于现有随机优化方法。

提出的方法

• 该算法采用二分查找（二分法）框架，递归地将预算空间划分为子区域，并根据噪声梯度观测结果优化分配。
• 在二叉树结构的每一层，将优化问题递归分解为子问题，基于梯度大小估计实施自适应采样。
• 每个候选分配的采样次数由估计梯度范数的倒数决定，从而在梯度大小较小的区域实现更高探索。
• 通过置信区间和对数缩放控制递归层级间的误差传播，确保高概率保证。
• 根据二叉树中的深度和估计的梯度强度，动态调整每一点的采样次数，实现自适应收敛。
• 该方法为无参数方法，仅依赖 Łojasiewicz 不等式指导采样与收敛，无需知晓平滑性或强凸性参数。

实验结果

研究问题

• RQ1 能否设计一种自适应随机优化算法，在无需事先知晓 Łojasiewicz 指数的情况下，实现所有正则性水平下资源分配问题的最优遗憾率？
• RQ2 如何利用噪声梯度反馈加速凹奖励函数下随机优化的收敛？
• RQ3 是否存在一种无参数的算法，既能恢复强凹函数的快速率，又能恢复线性函数的经典 bandit 速率？
• RQ4 该算法能否实现满足 Łojasiewicz 不等式（指数 $\beta \in [1,2]$）的函数的遗憾界 $T^{-\beta/2}$？
• RQ5 在中间正则性区间内，理论上的上界与实际遗憾之间存在多大性能差距？

主要发现

• 该算法在 $\beta \in [1,2]$ 时实现遗憾界 $T^{-\beta/2}$ 的缩放，与理论下界仅相差对数因子。
• 当 $\beta \geq 2$ 时，遗憾率缩放为 $\log(T)/T$，快于经典 bandit 的 $\widetilde{\mathcal{O}}(\sqrt{T})$ 速率。
• 对于强凹函数（对应 $\beta=2$），该算法在无需事先知晓强凸性参数的情况下，恢复了最优的 $\widetilde{\mathcal{O}}(T^{-1})$ 速率。
• 实验结果表明，当 $\beta \leq 2$ 时，遗憾率被紧密限制在 $T^{-\beta/2}$ 与 $(T/\log^2 T)^{-\beta/2}$ 之间，验证了理论缩放的正确性。
• 在 $\log$-log 尺度下，遗憾曲线的斜率与 $-\beta/2$ 一致，证实了不同 $\beta$ 值下收敛速率的正确性。
• 在中间正则性区间，该算法优于现有方法，表现出相比非自适应或非梯度方法的更优遗憾性能。