[論文レビュー] Learning Strategies in Decentralized Matching Markets under Uncertain Preferences

Xiaowu Dai, Michael I. Jordan|arXiv (Cornell University)|Oct 29, 2020

Game Theory and Voting Systems参考文献 55被引用数 11

ひとこと要約

本稿では、不確実でデータ駆動型の好みを有する二面的マッチング市場における分散型学習フレームワークを提案する。カーネル法を用いて受入確率を推定し、容量制約下での期待報酬を最適化するキャリブレートド・ディシジョン・メイキング（CDM）アルゴリズムを採用する。好みの推定に関してミニマックス最適収束性を確立し、結果の安定性と公平性を証明し、シミュレーションにおいてベースライン戦略を上回る優れた性能を示す。

ABSTRACT

We study the problem of decision-making in the setting of a scarcity of shared resources when the preferences of agents are unknown a priori and must be learned from data. Taking the two-sided matching market as a running example, we focus on the decentralized setting, where agents do not share their learned preferences with a central authority. Our approach is based on the representation of preferences in a reproducing kernel Hilbert space, and a learning algorithm for preferences that accounts for uncertainty due to the competition among the agents in the market. Under regularity conditions, we show that our estimator of preferences converges at a minimax optimal rate. Given this result, we derive optimal strategies that maximize agents' expected payoffs and we calibrate the uncertain state by taking opportunity costs into account. We also derive an incentive-compatibility property and show that the outcome from the learned strategies has a stability property. Finally, we prove a fairness property that asserts that there exists no justified envy according to the learned strategies.

研究の動機と目的

• 未知で動的な好みを有する分散型マッチング市場において、統計的学習と経済的意思決定のギャップを埋めること。
• 競合や限られた情報による不確実性を考慮し、エージェントの好みを再生核ヒルバート空間（RKHS）における関数としてモデル化すること。
• ローカルなデータのみを用いて最適戦略を計算し、機会費用と容量制約を考慮する分散型学習アルゴリズム（CDM）を開発すること。
• 不完全情報下での学習戦略の収束性、安定性、公平性に関する理論的保証を確立すること。
• 階層的大学と確率的学生好みを想定した大学入試のシミュレーションを通じて、フレームワークの実証的妥当性を検証すること。

提案手法

• エージェントの好みを再帰的核ヒルバート空間（RKHS）における関数として表現し、履歴データから受入確率の非パラメトリック推定を可能にする。
• 不確実性下での受入確率の学習にペナルティ付き対数尤度推定量を用い、安定性を確保し過学習を回避するための正則化を施す。
• 未知の状態を摂動することで、限界利益と容量超過に対するペナルティをバランスさせるCDM（キャリブレートド・ディシジョン・メイキング）アルゴリズムを導入する。
• 機会費用の観点から意思決定の閾値をキャリブレーションし、低リターンのマッチに過剰に投資しないようにする。
• 信念に基づく個人的合理性を組み込み、学習済み好みモデル下での期待報酬を最大化する最適戦略を導出する。
• 10種類の異なる学生好み状態と500回のテスト再現を含むシミュレーションベースの評価フレームワークを採用し、CDMをカットオフ戦略およびグリーディ戦略と比較する。

実験結果

リサーチクエスチョン

• RQ1 競合の影響を受ける未知の好みを持つ分散型マッチング市場において、エージェントはどのように最適戦略を学習できるか？
• RQ2 不確実性と資源不足の下で、受入確率の推定にミニマックス最適収束性を保証する学習法は何か？
• RQ3 期待報酬を最大化しつつ、機会費用と容量制約を考慮する分散型アルゴリズムはどのように設計できるか？
• RQ4 不完全情報下でも、学習済み戦略が安定性と公平性（＝正当な羞性なし）を満たすか？
• RQ5 CDMアルゴリズムは、機関の階層的レベルにかかわらず、ベースライン戦略（例：単純なカットオフ、グリーディ行動）と比較して報酬とロバストネスにおいて優れているか？

主な発見

• 正則性条件の下で、提案された受入確率推定器はミニマックス最適収束速度を達成し、限られたデータからの効率的学習を保証する。
• CDMアルゴリズムは、特に2番目および3番目の大学において、単純なカットオフ戦略およびグリーディ行動戦略を著しく上回る期待報酬を達成する。
• シミュレーションでは、CDMはすべての3つの機関階層（P1、P6、P16）で最高の平均報酬を達成し、中位の機関での利益が最も顕著に現れる。
• 状態の摂動と機会費用を用いた意思決定閾値のキャリブレーションにより、CDM戦略は過剰定員を防ぎ、容量超過のリスクを低減する。
• フレームワークは公平性の性質を保証する：不完全情報下でも、学習済み戦略に基づく正当な羞性は存在しない。
• CDM戦略の結果は、エージェントが未知の状態について持つ信念に基づく個人的合理性条件を満たすため、不完全情報下でも安定である。