[論文レビュー] Regret, stability, and fairness in matching markets with bandit learners.

Sarah H. Cen, Devavrat Shah|arXiv (Cornell University)|Feb 11, 2021

Advanced Bandit Algorithms Research参考文献 48被引用数 5

ひとこと要約

本稿は、コストと移転を統合することで、バンドイット学習者を用いた二面的マッチング市場のための新規フレームワークを提案する。これにより、安定性、低レグレット（O(log T)）、レグレット分布の公平性、および高い社会的厚生を達成する。理論的に、エージェントが真の好みを学習しつつインcentive compatibilityを維持し、集団的にレグレットを最小限に抑えることが示された。

ABSTRACT

We consider the two-sided matching market with bandit learners. In the standard matching problem, users and providers are matched to ensure incentive compatibility via the notion of stability. However, contrary to the core assumption of the matching problem, users and providers do not know their true preferences a priori and must learn them. To address this assumption, recent works propose to blend the matching and multi-armed bandit problems. They establish that it is possible to assign matchings that are stable (i.e., incentive-compatible) at every time step while also allowing agents to learn enough so that the system converges to matchings that are stable under the agents' true preferences. However, while some agents may incur low regret under these matchings, others can incur high regret -- specifically, $\Omega(T)$ optimal regret where $T$ is the time horizon. In this work, we incorporate costs and transfers in the two-sided matching market with bandit learners in order to faithfully model competition between agents. We prove that, under our framework, it is possible to simultaneously guarantee four desiderata: (1) incentive compatibility, i.e., stability, (2) low regret, i.e., $O(\log(T))$ optimal regret, (3) fairness in the distribution of regret among agents, and (4) high social welfare.

研究の動機と目的

• 既存のバンドイットマッチングフレームワークでは、安定性は保証されるものの一部のエージェントが高レグレット（Ω(T)）を被るという制限に対処すること。
• 二面的マッチング市場において、金銭的移転とコストを組み込むことで、エージェント間の現実的な競争をモデル化すること。
• 動的学習環境において、安定性、低レグレット、レグレット分布の公平性、および高い社会的厚生を同時に保証すること。
• 不完全な好みの知識と不確実性下での学習を考慮した、標準的なマッチングモデルの拡張すること。

提案手法

• 移転可能ユーティリティを備えた二面的マッチング市場モデルを導入し、エージェントはマッチの結果に基づき支払いまたは受領を行う。
• エージェントをバンドイット学習者としてモデル化し、時間の経過とともに真の好みを発見するための探索と活用を実施する。
• 遅延受け入れに移転調整を組み合わせることで、各時刻で安定性を保証するメカニズムを設計する。
• 適応的学習と移転メカニズムを通じて、個々のエージェントのレグレットをO(log T)に制限するレグレット最小化技術を用いる。
• 移転に基づく補償を用いて、エージェント間でのレグレット分布のバランスを取ることで公平性制約を組み込む。
• ゲーム理論的およびバンドイット学習の道具を用いて理論的保証を示し、初期知識が不完全であっても真の好み下での安定マッチングへの収束を示した。

実験結果

リサーチクエスチョン

• RQ1 エージェントがバンドイットフィードバックを通じて真の好みを学習する中で、二面的マッチング市場における安定性を維持できるか？
• RQ2 非対称な学習ダイナミクス下でも、すべてのエージェントが低レグレット（O(log T)）を達成できるか？
• RQ3 移転とコストをどのように活用することで、レグレット分布のバランスを図り、エージェント間の公平性を確保できるか？
• RQ4 動的マッチング環境において、インcentive compatibilityを保ちながら高い社会的厚生を確保するメカニズムは何か？
• RQ5 単一のメカニズムが、バンドイットベースのマッチングにおいて、安定性、低レグレット、公平性、および高い社会的厚生を同時に満たせるか？

主な発見

• 提案されたメカニズムは、すべての時刻で安定性を保証し、学習プロセス中もインcentive compatibilityを維持する。
• すべてのエージェントがO(log T)のレグレットを達成し、先行研究で観察されたΩ(T)のレグレットと比べて顕著な改善を示す。
• 移転メカニズムを通じてエージェント間でのレグレットが公平に分配され、学習コストにおける系統的不平等を防ぐ。
• 移転設計により個人のインcentiveと集団的効率性を一致させることで、高い社会的厚生を達成する。
• 理論的分析により、初期知識が不完全であっても真の好み下での安定マッチングへの収束が確認された。
• 移転の統合により、安定性、低レグレット、公平性、および高い社会的厚生という4つの望ましい性質を同時に満たすことが可能になった。