[论文解读] Dual Mirror Descent for Online Allocation Problems

Haihao Lu, Santiago Balseiro+1 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Bandit Algorithms Research参考文献 2被引用 21

一句话总结

本文提出了一种新颖的在线分配算法，通过在拉格朗日对偶空间中使用对偶镜面下降法，在收益函数为凹函数且请求分布未知的场景下，实现了次线性期望遗憾。通过采用自适应对偶乘子的在线镜面下降法，该方法恢复了已知的子梯度法与指数权重法，实现了在比例时间跨度与资源规模下的最优遗憾尺度。

ABSTRACT

We consider online allocation problems with concave revenue functions and resource constraints, which are central problems in revenue management and online advertising. In these settings, requests arrive sequentially during a finite horizon and, for each request, a decision maker needs to choose an action that consumes a certain amount of resources and generates revenue. The revenue function and resource consumption of each request are drawn independently and at random from a probability distribution that is unknown to the decision maker. The objective is to maximize cumulative revenues subject to a constraint on the total consumption of resources. We design a general class of algorithms that achieve sub-linear expected regret compared to the hindsight optimal allocation. Our algorithms operate in the Lagrangian dual space: they maintain a dual multiplier for each resource that is updated using online mirror descent. By choosing the reference function accordingly, we recover dual sub-gradient descent and dual exponential weights algorithm. The resulting algorithms are simple, efficient, and shown to attain the optimal order of regret when the length of the horizon and the initial number of resources are scaled proportionally. We discuss applications to online bidding in repeated auctions with budget constraints and online proportional matching with high entropy.

研究动机与目标

• 解决具有未知随机请求分布和凹收益函数的在线分配问题。
• 设计一种通用的算法框架，与事后最优分配相比，实现次线性期望遗憾。
• 通过统一的对偶镜面下降公式，整合并推广现有方法，如对偶子梯度法与指数权重法。
• 为在线广告和具有预算约束的重复拍卖等应用提供高效、可扩展的解决方案。

提出的方法

• 该算法在拉格朗日对偶空间中运行，为每种资源维护一个对偶乘子，以追踪资源消耗约束。
• 通过对偶乘子使用在线镜面下降法，通过参考函数（如对数函数或二次函数）在对偶空间中最小化遗憾。
• 该方法处理从未知分布中独立同分布抽取的随机请求，收益函数与资源消耗函数相互独立。
• 通过适当地选择参考函数，该框架可恢复对偶子梯度下降法与对偶指数权重算法。
• 由于其简洁的迭代更新规则，该方法确保了计算效率与可扩展性。
• 当时间跨度与初始资源数量成比例缩放时，该算法被证明可实现最优遗憾阶。

实验结果

研究问题

• RQ1 能否为具有凹收益与未知分布的在线分配问题，开发一种统一的算法框架，实现次线性遗憾？
• RQ2 在拉格朗日对偶空间中使用对偶镜面下降法，与子梯度法和指数权重法相比，在遗憾与性能方面有何差异？
• RQ3 在镜面下降中，选择何种参考函数可实现在线分配问题中的最优遗憾尺度？
• RQ4 该框架能否有效应用于现实世界问题，如具有预算约束的重复拍卖中的在线出价？
• RQ5 当时间跨度与资源容量成比例缩放时，该算法是否仍能保持最优遗憾阶？

主要发现

• 所提出的对偶镜面下降框架相对于事后最优分配实现了次线性期望遗憾，这是该设定下可达到的最佳遗憾阶。
• 通过选择适当的参考函数，该方法可恢复对偶子梯度下降法与对偶指数权重法，将这两种方法统一于同一框架之下。
• 当时间跨度与初始资源数量成比例缩放时，该算法可实现最优遗憾阶。
• 该方法计算高效，适用于大规模在线分配问题，如在线广告与重复拍卖。
• 该框架为处理请求分布中的不确定性提供了一种合理的方法，同时保持了强大的理论性能保证。
• 该算法结构自然支持在线比例匹配（高熵）与具有预算约束的在线出价等应用。