[論文レビュー] Mechanism Design with Bandit Feedback.

Kirthevasan Kandasamy, Joseph E. Gonzalez+2 more|arXiv (Cornell University)|Apr 19, 2020

Auction Theory and Applications参考文献 44被引用数 6

ひとこと要約

本稿では、割り当てを経験した後でしか自身の価値を学習しない設定において、多ラウンドの福祉最大化のための真実的で個人合理的なメカニズムを提案する。三つの相互に依存するレグレット測度を備えたバンディットフィードバックモデルを導入し、Ω(T^{2/3})の下界を確立し、このレートを達成するエニタイムアルゴリズムを用いて、エージェントと売り手のレグレットのトレードオフを保ちながら真実性を維持する。

ABSTRACT

We study a multi-round welfare-maximising mechanism design problem in instances where agents do not know their values. On each round, a mechanism assigns an allocation each to a set of agents and charges them a price; then the agents provide (stochastic) feedback to the mechanism for the allocation they received. This is motivated by applications in cloud markets and online advertising where an agent may know her value for an allocation only after experiencing it. Therefore, the mechanism needs to explore different allocations for each agent, while simultaneously attempting to find the socially optimal set of allocations. Our focus is on truthful and individually rational mechanisms which imitate the classical VCG mechanism in the long run. To that end, we define three notions of regret for the welfare, the individual utilities of each agent and that of the mechanism. We show that these three terms are interdependent via an $\Omega(T^{\frac{2}{3}})$ lower bound for the maximum of these three terms after $T$ rounds of allocations, and describe a family of anytime algorithms which achieve this rate. Our framework provides flexibility to control the pricing scheme so as to trade-off between the agent and seller regrets, and additionally to control the degree of truthfulness and individual rationality.

研究の動機と目的

• エージェントが割り当てを経験した後でしか価値を学習しない状況における、多ラウンド福祉最大化のための真実的で個人合理的なメカニズムの設計。
• フィードバックプロセスを、エージェントが割り当て後に品質フィードバックを提供する確率的バンディットフィードバックとしてモデル化すること。
• 社会的福祉、個々のエージェントの効用、メカニズムの効用の三つの相互に依存するレグレット項を定義し、分析すること。
• 三つのレグレットの最大値に関する下界を通じて、このようなメカニズムの性能の根本的限界を確立すること。
• 価格設定、真実性、個人合理性のトレードオフを許容しつつ、最適なΩ(T^{2/3})のレグレットレートを達成するエニタイムアルゴリズムの族を開発すること。

提案手法

• メカニズムはラウンドを繰り返し、割り当てと料金を課し、エージェントから割り当ての質に関する確率的フィードバックを受信する。
• 三つのレグレット測度を定義する：福祉レグレット（最適社会的福祉からの逸脱）、エージェント効用レグレット（最適個別効用からの逸脱）、メカニズム収益レグレット（最適メカニズム収益からの逸脱）。
• エージェントの価値が割り当て後にのみ明らかになるため、好みを学ぶために探索が必要となるバンディットフィードバックモデルを用いる。
• 三つのレグレットの最大値に対する根本的なΩ(T^{2/3})の下界を確立し、必然的なトレードオフを示す。
• 真実性と個人合理性を維持しながら、探索と活用のバランスを取ることで、最適なレートを達成する提案されたエニタイムアルゴリズム。
• 価格設定は柔軟であり、エージェントレグレットとメカニズムレグレットのトレードオフを許容し、真実性と個人合理性の水準の調整が可能である。

実験結果

リサーチクエスチョン

• RQ1 バンディットフィードバックを伴う多ラウンドメカニズムにおいて、福祉、エージェント効用、メカニズム効用のレグレットの間には、どのような根本的トレードオフが存在するか？
• RQ2 真実的かつ個人合理的なメカニズムは、このような設定で非線形レグレットを達成可能か？ もし可能であれば、最適レートは何か？
• RQ3 福祉、エージェント効用、メカニズム効用の三つのレグレット項は、どのように相互に作用し、互いに制約を受けるか？
• RQ4 Tラウンドにおけるこれらの三つのレグレット項の最大値に対する、最もきつい下界は何か？
• RQ5 真実性と個人合理性の制御を許容しつつ、最適なレグレットレートを達成できるエニタイムアルゴリズムを設計可能か？

主な発見

• 本稿では、Tラウンド後に三つのレグレット項（福祉、エージェント効用、メカニズム効用）の最大値に対する根本的なΩ(T^{2/3})の下界を確立した。
• この下界は、いかなるメカニズムでも、このレート未満に同時に三つのレグレットを最小化することはできないことを示し、必然的なトレードオフを強調する。
• 著者らは、最適なΩ(T^{2/3})のレグレットレートを達成するエニタイムアルゴリズムの族を提示した。このレートは下界と一致する。
• 価格設定の柔軟性により、エージェントレグレットとメカニズムレグレットの間のトレードオフを制御可能である。
• アルゴリズムは最適なレグレットレートを達成しながら、真実性と個人合理性を維持する。
• 結果として、三つのレグレット項の相互依存性は回避できないことが示され、提案されたアルゴリズムは理論的限界内でこれらを効果的にバランスしている。