[論文レビュー] Convergence Analysis of No-Regret Bidding Algorithms in Repeated Auctions

Zhe Feng, Guru Guruganesh+3 more|arXiv (Cornell University)|Sep 14, 2020

Advanced Bandit Algorithms Research参考文献 16被引用数 4

ひとこと要約

本稿は繰り返しオークションにおけるノーレグレット入札アルゴリズムの収束を分析し、平均に基づく学習ルール（Exp3、UCB、ε-greedyなど）が、2段階オークションおよびVCGオークションでは真実のナッシュ均衡へ収束し、1段階オークションではベイジアンナッシュ均衡へ収束することを示している。主な結果は、弱い分布的仮定のもとで高確率で均衡へ収束することであり、文脈的バンディットおよびディープQラーニングエージェントを用いた実験によって裏付けられている。

ABSTRACT

The connection between games and no-regret algorithms has been widely studied in the literature. A fundamental result is that when all players play no-regret strategies, this produces a sequence of actions whose time-average is a coarse-correlated equilibrium of the game. However, much less is known about equilibrium selection in the case that multiple equilibria exist. In this work, we study the convergence of no-regret bidding algorithms in auctions. Besides being of theoretical interest, bidding dynamics in auctions is an important question from a practical viewpoint as well. We study repeated game between bidders in which a single item is sold at each time step and the bidder's value is drawn from an unknown distribution. We show that if the bidders use any mean-based learning rule then the bidders converge with high probability to the truthful pure Nash Equilibrium in a second price auction, in VCG auction in the multi-slot setting and to the Bayesian Nash equilibrium in a first price auction. We note mean-based algorithms cover a wide variety of known no-regret algorithms such as Exp3, UCB, $ε$-Greedy etc. Also, we analyze the convergence of the individual iterates produced by such learning algorithms, as opposed to the time-average of the sequence. Our experiments corroborate our theoretical findings and also find a similar convergence when we use other strategies such as Deep Q-Learning.

研究の動機と目的

• 複数の均衡が存在する繰り返しオークションにおいて、ノーレグレット学習を用いる入札者がどの均衡に収束するかを理解すること。
• 2段階オークション、VCGオークション、1段階オークションにおいて、平均に基づく学習ルールが特定の均衡へ収束する理論的条件を確立すること。
• 粗いコーラテッド均衡を超えて、学習ダイナミクスの時間平均および個々の反復値を分析すること。
• 第一価格および第二価格オークション設定において、ε-greedyおよびディープQラーニングエージェントを用いた実験により理論的知見を検証すること。

提案手法

• 繰り返しオークションにおける入札者のコアな入札戦略として、平均に基づく学習ルール（Exp3、UCB、ε-greedyなど）を用いる。
• 収束を保証するため、他者の入札の分布に対する「厚さ仮定」（仮定4.2）を適用する。
• 厚さ条件のもとで、時間平均だけでなく個々の入札値に対しても高確率で均衡戦略へ収束することを証明する。
• レギュレートと逸脱バウンドの理論的分析を用いて、2段階オークションおよびVCGオークションにおいて真実の入札が優位であることを示す。
• i.i.d. 値の抽出のもとでベイジアンナッシュ均衡をモデル化し、1段階オークションへ分析を拡張し、均衡入札へ収束することを証明する。
• 一様な価値分布を仮定した第一価格および第二価格オークションにおいて、文脈的ε-greedyおよびディープQラーニングエージェントを用いたシミュレーションにより結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 複数の均衡が存在する繰り返しオークションにおいて、ノーレグレット学習アルゴリズムが特定の均衡へ収束する条件は何か？
• RQ2 平均に基づく学習のもとで、時間平均ではなく個々の入札列が均衡へ収束するか？
• RQ3 ε-greedyやディープQラーニングなどの平均に基づく学習ルールは、第二価格オークションおよびVCGオークションで真実の均衡へ導くか？
• RQ4 同じ学習ダイナミクスのもとで、第一価格オークションと第二価格オークションにおける収束行動はどのように異なるか？
• RQ5 他者の入札分布に対する「厚さ仮定」は、繰り返しオークション設定で均衡への収束を保証するか？

主な発見

• 厚さ仮定が成り立ち、かつT₀が十分に大きい場合、各γt平均に基づく学習者は、繰り返し多位置VCGオークションにおいて高確率で真実の入札へ収束する。
• 第二価格オークションおよびVCGオークションでは、任意の固定評価額に対して、真実の入札が確率1 - Hγt - 4exp(−τ²ρ²T₀/(32n²H²))以上で選択される。
• i.i.d. 一様価値の第一価格オークションでは、ε-greedyおよびディープQラーニングエージェントがベイジアンナッシュ均衡へ収束し、2入札者ケースでは各入札者が自らの真実価値の半分を入札する。
• 実験により、ε-greedyおよびディープQラーニングエージェントが第一価格および第二価格オークションの両方でBNEへ収束することが示され、平均報酬が理論的均衡効用に近づく。
• エージェント数の増加に対しても収束は頑健であり、2名を超える入札者を含む実験でもBNEへの収束が観察された。
• 探索確率εが0.05に制限されても、エージェントの入札行動はBNEに非常に近づき、平均報酬の差はわずかにしか生じない。