[論文レビュー] Bandit Learning in Decentralized Matching Markets

Lydia T. Liu, Feng Ruan+2 more|arXiv (Cornell University)|Jan 1, 2021

Auction Theory and Applications被引用数 1

ひとこと要約

本稿では、プレイヤーが事前の知識や直接的な通信なしにアームに対する好みを学ぶことのできる、二面的マッチング市場を対象とした分散型マルチプレイヤーベルヌーイバンディットアルゴリズムを提案する。アームの好みが共有されている場合、$Ø(\log T)$のレグレットを達成し、一般設定では$Ø(\log^2 T)$のレグレットを達成する。共有された好みの下ではインcentive compatibilityが保証される。

ABSTRACT

We study two-sided matching markets in which one side of the market (the players) does not have a priori knowledge about its preferences for the other side (the arms) and is required to learn its preferences from experience. Also, we assume the players have no direct means of communication. This model extends the standard stochastic multi-armed bandit framework to a decentralized multiple player setting with competition. We introduce a new algorithm for this setting that, over a time horizon $T$, attains $\mathcal{O}(\log(T))$ stable regret when preferences of the arms over players are shared, and $\mathcal{O}(\log(T)^2)$ regret when there are no assumptions on the preferences on either side. Moreover, in the setting where a single player may deviate, we show that the algorithm is incentive compatible whenever the arms' preferences are shared, but not necessarily so when preferences are fully general.

研究の動機と目的

• 相手側の好みに関する事前の知識のない分散型学習を、二面的マッチング市場において解決すること。
• 直接的な通信なしに繰り返しの相互作用を通じて好みを学ぶ競合環境をモデル化すること。
• 安定性とインcentive compatibilityを保証する一方で、レグレットを最小限に抑えるアルゴリズムを設計すること。
• 好みの対称性（共有 vs. 一般）が学習性能および戦略的行動に与える影響を分析すること。

提案手法

• 競合を伴う分散型・マルチプレイヤー設定に拡張された確率的マルチアームバンディットフレームワークを採用する。
• 通信が存在しない環境において、探索と活用のバランスを取る新しい学習アルゴリズムを導入する。
• 長期的な一貫性を保証するため、安定マッチングメカニズムを採用する。
• レグレットの上限を対数関数で測定し、共有・一般の好み構造に対して別々の解析を実施する。
• プレイヤーがアルゴリズムから逸脱する利点があるかどうかを評価するため、インcentive compatibilityの分析を適用する。
• 集中不等式とマッチング文脈における安定性の議論を用いて、理論的レグレット上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 通信なしに、プレイヤーはどのようにアームに対する好みを学ぶことができるか？
• RQ2 共有された好みと完全に一般化された好みの下で、どの程度のレグレット上限が達成可能か？
• RQ3 アームの好みが共有されている場合、提案されたアルゴリズムはインcentive compatibleか？
• RQ4 1名のプレイヤーが逸脱した場合、マッチング結果の安定性と公平性にどのような影響が生じるか？
• RQ5 低レグレットと戦略的ロバストネスを保証するために、どのような好みに関する構造的仮定が必要か？

主な発見

• アームのプレイヤーに対する好みが共有されている場合、$Ø(\log T)$のレグレットを達成し、対称的な好み情報のもとで効率的な学習が可能であることを示している。
• 共有された好みが存在しない場合、レグレットは$Ø(\log^2 T)$に増加し、構造的仮定の欠如に起因する学習の複雑性が顕在化している。
• アームの好みが共有されている場合、アルゴリズムはインcentive compatibleである。これは、プレイヤーがアルゴリズムから逸脱する戦略的インセンティブを持たないことを意味する。
• 完全に任意の好みを想定する一般設定ではインcentive compatibilityは成立しない。これは、一般性と戦略的ロバストネスの間でトレードオフが生じることを示唆している。
• 理論的分析により、分散型で競合的な環境下でも安定マッチングの結果が達成可能であることが確認された。
• 結果から、好みの対称性が分散型バンディットマッチングにおける学習効率と戦略的安定性を顕著に向上させることを示している。