[论文解读] Regret, stability, and fairness in matching markets with bandit learners.

Sarah H. Cen, Devavrat Shah|arXiv (Cornell University)|Feb 11, 2021

Advanced Bandit Algorithms Research参考文献 48被引用 5

一句话总结

本文提出了一种新颖的框架，用于具有上下文 bandit 学习者的双边匹配市场，通过整合成本和转移机制，确保稳定性、低遗憾（O(log T)）、遗憾分布的公平性以及高社会福利。证明了代理在保持激励相容性的同时，能够学习到真实的偏好，并集体最小化遗憾。

ABSTRACT

We consider the two-sided matching market with bandit learners. In the standard matching problem, users and providers are matched to ensure incentive compatibility via the notion of stability. However, contrary to the core assumption of the matching problem, users and providers do not know their true preferences a priori and must learn them. To address this assumption, recent works propose to blend the matching and multi-armed bandit problems. They establish that it is possible to assign matchings that are stable (i.e., incentive-compatible) at every time step while also allowing agents to learn enough so that the system converges to matchings that are stable under the agents' true preferences. However, while some agents may incur low regret under these matchings, others can incur high regret -- specifically, $\Omega(T)$ optimal regret where $T$ is the time horizon. In this work, we incorporate costs and transfers in the two-sided matching market with bandit learners in order to faithfully model competition between agents. We prove that, under our framework, it is possible to simultaneously guarantee four desiderata: (1) incentive compatibility, i.e., stability, (2) low regret, i.e., $O(\log(T))$ optimal regret, (3) fairness in the distribution of regret among agents, and (4) high social welfare.

研究动机与目标

• 解决现有 bandit 匹配框架中的局限性，即尽管保持了稳定性，部分代理仍可能面临高遗憾（Ω(T)）的问题。
• 通过在双边匹配市场中引入货币转移和成本，对代理之间的现实竞争进行建模。
• 在动态学习环境中，同时保证稳定性、低遗憾、遗憾分布的公平性以及高社会福利。
• 扩展标准匹配模型，以考虑偏好知识不完全以及在不确定性下的学习。

提出的方法

• 提出一个具有可转移效用的双边匹配市场模型，其中代理根据匹配结果支付或获得转移。
• 将代理建模为 bandit 学习者，通过探索与利用随时间发现真实偏好。
• 设计一种机制，通过引入带调整的延迟接受机制，确保每个时间步的稳定性。
• 使用遗憾最小化技术，通过自适应学习与转移机制，将个体代理的遗憾控制在 O(log T) 范围内。
• 通过基于转移的补偿机制，平衡代理间遗憾的分布，引入公平性约束。
• 利用博弈论与 bandit 学习工具证明理论保证，表明在真实偏好下系统收敛至稳定匹配。

实验结果

研究问题

• RQ1 我们能否在代理通过 bandit 反馈学习真实偏好时，仍保持双边匹配市场的稳定性？
• RQ2 是否可能使所有代理均实现低遗憾（O(log T)），即使在非对称学习动态下？
• RQ3 如何利用转移与成本来平衡遗憾分布，确保代理间的公平性？
• RQ4 何种机制可在动态匹配环境中同时保障高社会福利与激励相容性？
• RQ5 是否存在一种单一机制，能同时满足 bandit 基础匹配中的稳定性、低遗憾、公平性与高社会福利？

主要发现

• 所提出的机制在每个时间步均保证稳定性，确保学习过程中始终具备激励相容性。
• 所有代理均实现 O(log T) 的遗憾，显著优于先前工作中观察到的 Ω(T) 遗憾。
• 通过转移机制，遗憾在代理间实现公平分配，防止学习成本的系统性不公。
• 通过转移机制的设计，将个体激励与集体效率对齐，系统实现了高社会福利。
• 理论分析证实，即使在初始知识不完全的情况下，系统仍能收敛至真实偏好下的稳定匹配。
• 转移机制的整合使得所有四项理想属性——稳定性、低遗憾、公平性与高社会福利——得以同时满足。