[论文解读] Bandit Learning in Decentralized Matching Markets

Lydia T. Liu, Feng Ruan+2 more|arXiv (Cornell University)|Jan 1, 2021

Auction Theory and Applications被引用 1

一句话总结

该论文提出了一种去中心化的多玩家 bandit 算法，用于双边匹配市场，其中玩家在无先验知识或直接通信的情况下学习对臂的偏好。当臂的偏好共享时，其遗憾为 $Ø(\log T)$；在一般设置下，遗憾为 $Ø(\log^2 T)$，且在偏好共享时具备策略相容性。

ABSTRACT

We study two-sided matching markets in which one side of the market (the players) does not have a priori knowledge about its preferences for the other side (the arms) and is required to learn its preferences from experience. Also, we assume the players have no direct means of communication. This model extends the standard stochastic multi-armed bandit framework to a decentralized multiple player setting with competition. We introduce a new algorithm for this setting that, over a time horizon $T$, attains $\mathcal{O}(\log(T))$ stable regret when preferences of the arms over players are shared, and $\mathcal{O}(\log(T)^2)$ regret when there are no assumptions on the preferences on either side. Moreover, in the setting where a single player may deviate, we show that the algorithm is incentive compatible whenever the arms' preferences are shared, but not necessarily so when preferences are fully general.

研究动机与目标

• 解决在缺乏对对方偏好先验知识的去中心化双边匹配市场中的学习问题。
• 建模一种竞争环境，其中玩家通过重复互动学习，而无需直接通信。
• 设计一种最小化遗憾的算法，同时在特定偏好假设下确保稳定性和策略相容性。
• 分析偏好对称性（共享 vs. 一般）对学习性能和策略行为的影响。

提出的方法

• 将随机多臂 bandit 框架扩展至具有竞争关系的去中心化多玩家设置。
• 提出一种新颖的学习算法，以在无通信条件下平衡探索与利用。
• 采用稳定匹配机制，以确保玩家-臂配对的长期一致性。
• 使用对数遗憾界衡量性能，针对共享与一般偏好结构分别进行分析。
• 应用策略相容性分析，评估玩家偏离算法是否能获益。
• 利用集中不等式和匹配情境下的稳定性论证，推导理论遗憾界。

实验结果

研究问题

• RQ1 在无通信的去中心化市场中，玩家如何学习其对臂的偏好？
• RQ2 在偏好共享与完全一般偏好下，可实现的遗憾界是什么？
• RQ3 当臂的偏好共享时，所提出的算法是否具备策略相容性？
• RQ4 单个偏离玩家的存在如何影响匹配结果的稳定性和公平性？
• RQ5 为确保低遗憾和策略鲁棒性，偏好结构需要哪些必要假设？

主要发现

• 当臂对玩家的偏好共享时，该算法实现 $Ø(\log T)$ 遗憾，表明在偏好信息对称时学习效率较高。
• 在无共享偏好时，遗憾上升至 $Ø(\log^2 T)$，反映出在缺乏结构假设下的学习复杂度更高。
• 当臂的偏好共享时，该算法具备策略相容性，即玩家无动机偏离该算法。
• 在完全任意偏好的一般设置下，策略相容性不成立，表明通用性与策略鲁棒性之间存在权衡。
• 理论分析证实，即使在去中心化、竞争的环境中，也可实现稳定匹配结果。
• 结果表明，偏好对称性显著提升了去中心化 bandit 匹配中的学习效率和策略稳定性。