[论文解读] Bandit Algorithms for Prophet Inequality and Pandora's Box

Khashayar Gatmiry, Thomas Keßelheim+2 more|arXiv (Cornell University)|Nov 16, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本论文针对在有限反馈场景下（仅可观测所选动作的奖励）的先知不等式（Prophet Inequality）与潘多拉之盒（Pandora's Box）问题，提出了上下文 bandit 算法。通过维护最优策略索引的置信区间，并设计一种新颖的探索-利用权衡机制以实现可学习的后悔上界，该工作实现了近似最优的后悔界 $\widetilde{O}(\mathsf{poly}(n)\sqrt{T})$。

ABSTRACT

The Prophet Inequality and Pandora's Box problems are fundamental stochastic problem with applications in Mechanism Design, Online Algorithms, Stochastic Optimization, Optimal Stopping, and Operations Research. A usual assumption in these works is that the probability distributions of the $n$ underlying random variables are given as input to the algorithm. Since in practice these distributions need to be learned, we initiate the study of such stochastic problems in the Multi-Armed Bandits model. In the Multi-Armed Bandits model we interact with $n$ unknown distributions over $T$ rounds: in round $t$ we play a policy $x^{(t)}$ and receive a partial (bandit) feedback on the performance of $x^{(t)}$. The goal is to minimize the regret, which is the difference over $T$ rounds in the total value of the optimal algorithm that knows the distributions vs. the total value of our algorithm that learns the distributions from the partial feedback. Our main results give near-optimal $ ilde{O}(\mathsf{poly}(n)\sqrt{T})$ total regret algorithms for both Prophet Inequality and Pandora's Box. Our proofs proceed by maintaining confidence intervals on the unknown indices of the optimal policy. The exploration-exploitation tradeoff prevents us from directly refining these confidence intervals, so the main technique is to design a regret upper bound that is learnable while playing low-regret Bandit policies.

研究动机与目标

• 解决在线随机优化中底层分布未知且必须从有限反馈中学习的空白。
• 在仅提供奖励反馈的多臂 bandit 框架下，研究先知不等式与潘多拉之盒问题。
• 设计在有限反馈下实现近似最优后悔的算法，最小化学习策略与已知分布下的最优策略之间的差异。
• 建立理论下界，表明在对抗性输入下，亚线性后悔是不可能实现的。
• 通过在最小反馈下实现低后悔性能，统一在线学习在不同反馈模型下的表现。

提出的方法

• 通过维护未知最优策略索引的置信区间，以指导探索。
• 设计一个可学习的后悔上界函数，同时在执行低后悔 bandit 策略时保持有效性。
• 使用区间收缩算法，分别在先知不等式与潘多拉之盒设置中，精炼最优阈值的估计。
• 应用加倍框架，确保在自适应探索下各轮次均实现低后悔性能。
• 引入移动差分与交换差分分析方法，以在固定或动态顺序下，约束潘多拉之盒中的策略偏差。
• 通过迭代精炼约束与置信区间，将学习到的策略在多项式时间内转化为最优策略。

实验结果

研究问题

• RQ1 当仅提供 bandit 反馈（仅奖励）时，是否可在先知不等式问题中实现近似最优的后悔？
• RQ2 在分布未知的 bandit 反馈下，是否可将相同的后悔界扩展至潘多拉之盒问题？
• RQ3 在有限反馈下，对抗性输入序列中这些问题的后悔根本极限是什么？
• RQ4 在 bandit 反馈下的探索-利用权衡中，如何维护并精炼最优策略索引的置信区间？
• RQ5 能否通过最小化反馈需求，使单一算法在不同反馈模型下均实现近似最优性能？

主要发现

• 在 bandit 反馈下，该论文对先知不等式与潘多拉之盒问题均实现了总后悔 $\widetilde{O}(\mathsf{poly}(n)\sqrt{T})$。
• 对于 $n=2$ 的先知不等式，算法采用区间收缩方法，以保持对最优阈值的信心，实现 $\widetilde{O}(\sqrt{T})$ 的后悔。
• 在潘多拉之盒中，算法通过动态约束更新，同时控制移动差分与交换差分，实现高效的策略转换。
• 针对随机输入，建立了 $\Omega(\sqrt{T})$ 的下界，表明该后悔界在对数因子范围内是紧致的。
• 对于对抗性输入，论文证明即使在完整反馈下，$\Omega(T)$ 的后悔也是不可避免的，表明亚线性后悔不可能实现。
• 该结果解决了在对抗性输入下，潘多拉之盒问题中亚线性后悔的开放性问题。