[论文解读] Bayesian Exploration: Incentivizing Exploration in Bayesian Games

Yishay Mansour, Aleksandrs Slivkins+2 more|arXiv (Cornell University)|Feb 24, 2016

Game Theory and Applications被引用 8

一句话总结

本文提出了贝叶斯探索（Bayesian Exploration）框架，旨在使主策略者在不使用货币转移的情况下，激励贝叶斯博弈中的代理者探索不确定行动。通过识别‘可探索行动’并采用激励相容的推荐策略，主策略者在确定性环境中实现恒定遗憾，在随机环境中实现对数遗憾，显著优于先前关于单代理探索的研究。

ABSTRACT

We consider a ubiquitous scenario in the Internet economy when individual decision-makers (henceforth, agents) both produce and consume information as they make strategic choices in an uncertain environment. This creates a three-way tradeoff between exploration (trying out insufficiently explored alternatives to help others in the future), exploitation (making optimal decisions given the information discovered by other agents), and incentives of the agents (who are myopically interested in exploitation, while preferring the others to explore). We posit a principal who controls the flow of information from agents that came before, and strives to coordinate the agents towards a socially optimal balance between exploration and exploitation, not using any monetary transfers. The goal is to design a recommendation policy for the principal which respects agents' incentives and minimizes a suitable notion of regret. We extend prior work in this direction to allow the agents to interact with one another in a shared environment: at each time step, multiple agents arrive to play a Bayesian game, receive recommendations, choose their actions, receive their payoffs, and then leave the game forever. The agents now face two sources of uncertainty: the actions of the other agents and the parameters of the uncertain game environment. Our main contribution is to show that the principal can achieve constant regret when the utilities are deterministic (where the constant depends on the prior distribution, but not on the time horizon), and logarithmic regret when the utilities are stochastic. As a key technical tool, we introduce the concept of explorable actions, the actions which some incentive-compatible policy can recommend with non-zero probability. We show how the principal can identify (and explore) all explorable actions, and use the revealed information to perform optimally.

研究动机与目标

• 解决在代理者短视且自利的贝叶斯博弈中激励探索的挑战，同时使集体探索惠及社会。
• 设计一种尊重代理者激励（通过贝叶斯激励相容性）且无需货币转移即可最小化遗憾的推荐策略。
• 将先前的单代理探索模型扩展至代理者在共享不确定环境中互动的多代理场景。
• 阐明行动可探索的条件，并展示如何在激励约束下高效识别并探索这些行动。
• 在任意主策略者效用目标下，实现最优遗憾界——确定性环境中为恒定，随机环境中为对数形式。

提出的方法

• 引入‘可探索行动’的概念——即在某种激励相容策略下可被非零概率推荐的行动。
• 开发一种最大探索子程序，利用满足BIC的推荐机制，识别并探索所有可探索行动。
• 采用重复博弈框架，每轮有多个代理者到达，参与贝叶斯博弈，接收推荐，采取行动，然后离开。
• 通过BIC子程序的组合，确保整体策略保持贝叶斯激励相容性，同时探索所有可探索行动。
• 在随机效用设置中，应用近似技术处理期望效用与信号设计。
• 依赖一种新颖的分析框架，将探索与利用解耦，同时在各轮中保持激励相容性。

实验结果

研究问题

• RQ1 主策略者能否设计一种推荐策略，在多代理贝叶斯博弈设置中无需货币转移即可激励代理者探索？
• RQ2 在具有自利代理者与不完全信息的博弈论设定中，什么定义了行动为‘可探索’？
• RQ3 主策略者如何在确定性效用设置中实现恒定遗憾，同时确保贝叶斯激励相容性？
• RQ4 当主策略者与δ-BIC策略竞争时，随机效用设置下的遗憾根本极限是什么？
• RQ5 该框架能否扩展至具有时变上下文或简洁博弈表示的场景？

主要发现

• 在确定性效用设置中，主策略者可实现恒定遗憾，该常数仅依赖于先验分布，而不依赖于时间范围。
• 在随机效用设置中，当主策略者与任意δ > 0的δ-BIC策略竞争时，可实现对数遗憾。
• 所有可探索行动——即在满足BIC的条件下可被非零概率推荐的行动——均可通过计算高效的子程序被识别并探索。
• 该框架不要求主策略者的效用与代理者累积效用对齐，从而在目标设计上具有灵活性。
• 与先前工作相比，本研究显著改进，消除了单代理设置中要求所有行动均可探索的假设。
• 分析表明，与严格BIC策略（δ = 0）竞争仍是开放挑战，因为数据依赖的采样需求会破坏BIC的组合性。