[論文レビュー] Learning to bid in revenue-maximizing auctions

Thomas Nédelec, Noureddine El Karoui+1 more|arXiv (Cornell University)|Feb 27, 2019

Auction Theory and Applications参考文献 1被引用数 6

ひとこと要約

本稿では、データ駆動型の収益最大化オークション—特に入札分布に基づくパーソナライズドリザーブプライスを採用するオークション—において、戦略的入札者が最適な入札戦略を学ぶための微分可能で勾配ベースの手法を提案する。不連続な報酬目的関数を緩和し、ニューラルネットワークを用いて入札関数を最適化することで、ラジオ第二価格、マイアソン、ブーストド第二価格オークションにおいて、真実の入札に対する著しい報酬向上（最大数倍）を達成した。

ABSTRACT

We consider the problem of the optimization of bidding strategies in prior-dependent revenue-maximizing auctions, when the seller fixes the reserve prices based on the bid distributions. Our study is done in the setting where one bidder is strategic. Using a variational approach, we study the complexity of the original objective and we introduce a relaxation of the objective functional in order to use gradient descent methods. Our approach is simple, general and can be applied to various value distributions and revenue-maximizing mechanisms. The new strategies we derive yield massive uplifts compared to the traditional truthfully bidding strategy.

研究の動機と目的

• データ駆動型の収益最大化オークションメカニズムにおける入札者に対する戦略的入札アルゴリズムの不足を解消すること。
• 売り手が観測された入札分布に基づいてリザーブプライスを設定する定常状態のオークション環境において、長期的な入札者の戦略的行動をモデル化すること。
• 入札戦略最適化における元の報酬目的関数の不連続性を、安定した微分可能な緩和により克服すること。
• マイアソン、ラジオ第二価格、ブーストド第二価格オークションを含む、さまざまなオークションメカニズムに一般に適用可能な、計算的に効率的な手法を開発すること。
• 指数分布および一様分布の価値分布を想定した現実的設定において、真実の入札と比較して入札者が著しい報酬向上を達成することを経験的に示すこと。

提案手法

• 売り手のメカニズムが誘導する入札分布に依存する入札戦略に関する期待報酬を、関数的最適化問題として定式化する。
• 局所的摂動に対して安定性を保証する微分可能で安定な緩和を、元の不連続な目的関数に導入する。
• ニューラルネットワークを用いて入札戦略をパラメータ化し、緩和目的関数のエンドツーエンド勾配降下最適化を可能にする。
• マイアソンオークションの場合、入札分布のL2フィッティングにより仮想価値関数を近似し、得られた代理目的関数を最適化する。
• ブーストド第二価格オークションの場合、入札分布の仮想価値関数からリザーブプライスを計算し、リザーブ以上での入札に対して線形フィットを適用してブーストを実装する。
• リザーブプライスのしきい値に対して微分可能な近似を適用し、仮想価値関数の劣微分を用いて最適化における微分可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 売り手が過去の入札分布に基づいてパーソナライズドリザーブプライスを設定する場合、収益最大化オークションにおいて戦略的入札者が最適な入札戦略をどのように学べるか。
• RQ2 ラジオ第二価格オークションにパーソナライズドリザーブを導入した現代のデータ駆動型オークションメカニズムにおいて、戦略的入札が入札者の報酬に与える影響は何か。
• RQ3 マイアソンオークションやブーストド第二価格オークションのような非真実的で複雑なオークションメカニズムに対し、微分可能で勾配ベースの最適化フレームワークを効果的に適用できるか。
• RQ4 さまざまな価値分布とオークションタイプにおいて、学習された戦略のパフォーマンス向上は真実の入札と比較してどの程度か。
• RQ5 メカニズムが観測された入札分布に基づいて訓練される場合、現代の収益最大化メカニズムは戦略的入札者に対してどの程度頑健か。

主な発見

• 提案手法は、パーソナライズドリザーブを備えたラジオ第二価格オークションおよびマイアソンオークションにおいて、真実の入札と比較して数倍の報酬向上を達成した。
• マイアソンオークションにおいて、学習された入札戦略は理論的に最適であることが保証されており、本手法の閉形式設定における理論的整合性を裏付けた。
• ブーストド第二価格オークションにおいて、本手法は理論的保証を超えて一般化に成功し、ブーストメカニズムの微分可能な近似により高いパフォーマンスを達成した。
• 売り手が歴史的入札に基づく動的リザーブプライス更新を採用する設定でさえも、真実の入札を上回る性能を示しており、メカニズム設計の仮定に対して頑健であることを示した。
• 閉形式最適戦略が知られていないオークションメカニズムに対しても、本手法は効果的に一般化され、現代の複雑なオークション設計に広く適用可能であることを示した。
• 指数分布および一様分布の価値分布を用いた実験では、一貫して顕著なパフォーマンス向上が得られ、特にリザーブプライスしきい値に敏感でない競争環境において、最大の向上が観察された。