[論文レビュー] Reinforcement Mechanism Design, with Applications to Dynamic Pricing in Sponsored Search Auctions

Weiran Shen, Binghui Peng+8 more|arXiv (Cornell University)|Nov 28, 2017

Auction Theory and Applications参考文献 28被引用数 24

ひとこと要約

本稿では、報酬学習を用いてスポンサード検索オークションにおけるリザーブ価格を動的に最適化する強化メカニズム設計フレームワークを提案する。データ駆動型入札者行動モデルとMCTSベースの最適化アルゴリズムを組み合わせたものであり、実際の入札データを用いたシミュレーションにより、長期的な収益生成において静的および動的ベースライン戦略を顕著に上回ることを示した。

ABSTRACT

In this study, we apply reinforcement learning techniques and propose what we call reinforcement mechanism design to tackle the dynamic pricing problem in sponsored search auctions. In contrast to previous game-theoretical approaches that heavily rely on rationality and common knowledge among the bidders, we take a data-driven approach, and try to learn, over repeated interactions, the set of optimal reserve prices. We implement our approach within the current sponsored search framework of a major search engine: we first train a buyer behavior model, via a real bidding data set, that accurately predicts bids given information that bidders are aware of, including the game parameters disclosed by the search engine, as well as the bidders' KPI data from previous rounds. We then put forward a reinforcement/MDP (Markov Decision Process) based algorithm that optimizes reserve prices over time, in a GSP-like auction. Our simulations demonstrate that our framework outperforms static optimization strategies including the ones that are currently in use, as well as several other dynamic ones.

研究の動機と目的

• 合理的かつ共通知識を前提とするゲーム理論的オークション設計の限界を是正すること。
• 実際の入札行動から学習するデータ駆動型動的価格設定フレームワークを構築し、時間経過に伴いリザーブ価格を最適化すること。
• 現在の業界実務および理論的静的最適化を上回る収益パフォーマンスを向上させること。
• 入札者行動をマルコフ的とモデル化し、強化学習を用いて進化する入札戦略に応じてリザーブ価格を適応的に調整すること。

提案手法

• 実際の入札データを用いて再帰的ニューラルネットワーク（RNN）入札者行動モデルを学習させ、公開されたゲームパrameterと歴史的KPIに基づいて入札額を予測する。
• リザーブ価格最適化問題を、現在のオークションパラメータと入札者行動を含む状態を含むマルコフ決定過程（MDP）として定式化する。
• 将来のオークション結果をシミュレートするために、時間経過に伴い最適なリザーブ価格を探索・選択するためモンテカルロツリー探索（MCTS）を用いる。
• 収益の向上とプラットフォームの安定性の両立を図るため、時間ステップ（Δt）を設定可能な動的更新メカニズムを実装する。
• 入札者モデルとMCTSをフィードバックループで統合する：更新されたリザーブ価格を用いてオークションをシミュレートし、予測を段階的に改善する。
• 比較のためのベンチマークとして、マイアソンの収益最大化に基づく静的最適リザーブ価格を用いる。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型で報酬学習に基づく手法は、スパム検索オークションにおいて静的およびヒューリスティックな動的価格設定戦略を上回ることができるか？
• RQ2 異なる更新頻度（Δt）における動的リザーブ価格最適化のパフォーマンスはどのように変化するか？
• RQ3 学習された入札者行動モデルは、均衡ベースまたは静的仮定と比較して、長期的な収益をどの程度向上させることができるか？
• RQ4 入札者はリザーブ価格の急激な変更にどのように反応するか？また、システムは収益の安定性を維持するために適応できるか？

主な発見

• 提案された強化メカニズム設計フレームワークは、すべての静的戦略、包括して現在のバイドウ生産システム（BAIDU）を顕著に上回る長期的収益を達成した。
• MCTSベースの動的戦略は、グリーディヒューリスティック（5％ベースの局所的調整）を上回り、グローバルな計画が欠如している点を補っている。
• 攻撃的価格戦略（例：突然のリザーブ価格上昇）では、初めは収益が急激に上昇するが、入札者が適応するにつれて急速に減少するため、段階的最適化の必要性が浮き彫りになった。
• フレームワークは、初期は良好に機能するが、適応性に欠けるため時間経過とともに劣化するSTATIC_OPTよりも高い収益水準に収束した。
• 更新間隔を長く（Δt = 7）することで、毎日更新（Δt = 1）よりも高い収益とより速い収束が得られ、より頻繁でないがより安定した調整がより効果的であることが示された。
• GREEDYアルゴリズムのパフォーマンスは、Δt = 3のMCTSベース手法とほぼ同等であったため、MCTSが戦略的計画において明確な利点を提供していることが示された。