[论文解读] Decentralized, Communication- and Coordination-free Learning in Structured Matching Markets

Chinmay Maheshwari, Eric Mazumdar+1 more|arXiv (Cornell University)|Jun 6, 2022

Game Theory and Voting Systems被引用 4

一句话总结

本文提出了一种去中心化、无需通信与协调的学习算法，适用于结构化的双边匹配市场，其中代理人通过重复交互学习自身偏好，而无需了解其他人的策略。在 α-可约偏好结构下，该算法在时间跨度内实现对数 regret，证明了在稳定匹配设置中，竞争不会严重降低性能。

ABSTRACT

We study the problem of online learning in competitive settings in the context of two-sided matching markets. In particular, one side of the market, the agents, must learn about their preferences over the other side, the firms, through repeated interaction while competing with other agents for successful matches. We propose a class of decentralized, communication- and coordination-free algorithms that agents can use to reach to their stable match in structured matching markets. In contrast to prior works, the proposed algorithms make decisions based solely on an agent's own history of play and requires no foreknowledge of the firms' preferences. Our algorithms are constructed by splitting up the statistical problem of learning one's preferences, from noisy observations, from the problem of competing for firms. We show that under realistic structural assumptions on the underlying preferences of the agents and firms, the proposed algorithms incur a regret which grows at most logarithmically in the time horizon. Our results show that, in the case of matching markets, competition need not drastically affect the performance of decentralized, communication and coordination free online learning algorithms.

研究动机与目标

• 解决在线学习在竞争性双边匹配市场中的挑战，其中代理人缺乏对其偏好的先验知识。
• 设计无需通信、协调或对全局市场状态观测的算法，确保可扩展性与隐私性。
• 在其他自利代理人竞争的背景下，实现稳定匹配收敛且 regret 最小化。
• 在对代理人与企业偏好结构的现实假设下，建立对 regret 增长的理论保证。

提出的方法

• 将学习问题分解为独立的统计学习（从噪声匹配效用中学习）与竞争匹配（处理与其他代理人的冲突）。
• 采用两阶段算法：第一阶段，使用 Thompson Sampling 或 UCB 基础的探索来估计个人偏好；第二阶段，基于经验效用估计实施基于稳定匹配的选择机制。
• 利用 α-可约偏好结构（如序列独裁、无交叉条件）确保唯一稳定匹配并实现可处理的 regret 分析。
• 将企业行为建模为短视效用最大化者，仅接受请求中排名最高的代理人。
• 通过集中不等式与鞅论证分析碰撞频率与选择频率，从而界定 regret。
• 引入成功匹配、拒绝以及次优企业剔除的指示变量，以追踪学习进度与 regret 组成部分。

实验结果

研究问题

• RQ1 去中心化、无协调的算法能否在偏好信息不完全的双边在线匹配市场中实现稳定匹配收敛？
• RQ2 在这些设置中，探索（学习偏好）与竞争（避免拒绝）之间的根本权衡是什么？
• RQ3 竞争如何影响去中心化学习算法在结构化匹配市场中的 regret？
• RQ4 能否在无通信、无协调或未完整观测其他代理人行为的前提下实现对数 regret？
• RQ5 在何种偏好结构假设下存在唯一稳定匹配，且该假设如何促进高效学习？

主要发现

• 所提出的算法在时间跨度 T 内的 regret 边界最多以对数方式增长，具体为在 α-可约偏好结构下 O(log T)。
• 对次优企业，regret 边界为 O(1/Δ² log(1/Δ) + log T)，其中 Δ 为稳定匹配与次优企业之间的效用差距。
• 算法保持去中心化运行：代理人仅基于自身被拒绝和匹配结果的历史做出决策。
• 无协调、无通信的设计确保了在大规模在线市场中的可扩展性与隐私性。
• 该框架支持如序列独裁与无交叉条件等现实市场结构，这些结构在现实平台中常见。
• 基于噪声匹配反馈更新效用的样本均值估计，且算法在无全局协调下有效平衡探索与利用。