[論文レビュー] Reinforcement Mechanism Design for e-commerce

Qingpeng Cai, Aris Filos-Ratsikas+2 more|arXiv (Cornell University)|Aug 25, 2017

Auction Theory and Applications参考文献 31被引用数 3

ひとこと要約

本稿では、売り手の戦略的行動を考慮した、電子商取引プラットフォームにおけるインプレッション割り当てのための深層強化学習アルゴリズムIA(GRU)を提案する。割り当てをマルコフ決定過程としてモデル化し、DDPGにインspiredされたGRU強化型アクタ・クリティックアーキテクチャを用いることで、多様な売り手の合理性モデルにおいて、収益性能と安定性に優れ、DDPGおよびヒューリスティックベースラインを上回る性能を発揮する。

ABSTRACT

We study the problem of allocating impressions to sellers in e-commerce websites, such as Amazon, eBay or Taobao, aiming to maximize the total revenue generated by the platform. We employ a general framework of reinforcement mechanism design, which uses deep reinforcement learning to design efficient algorithms, taking the strategic behaviour of the sellers into account. Specifically, we model the impression allocation problem as a Markov decision process, where the states encode the history of impressions, prices, transactions and generated revenue and the actions are the possible impression allocations in each round. To tackle the problem of continuity and high-dimensionality of states and actions, we adopt the ideas of the DDPG algorithm to design an actor-critic policy gradient algorithm which takes advantage of the problem domain in order to achieve convergence and stability. We evaluate our proposed algorithm, coined IA(GRU), by comparing it against DDPG, as well as several natural heuristics, under different rationality models for the sellers - we assume that sellers follow well-known no-regret type strategies which may vary in their degree of sophistication. We find that IA(GRU) outperforms all algorithms in terms of the total revenue.

研究の動機と目的

• 売り手の戦略的行動を考慮しつつ、合計収益を最大化する効率的なインプレッション割り当てメカニズムを設計すること。
• 共同フィルタリングなどのヒューリスティック的手法の限界を解決すること。これらは動的価格戦略や長期的収益トレードオフを無視する。
• 売り手の合理性をノーリグレット学習戦略によってモデル化するスケーラブルで安定した強化学習フレームワークを構築すること。
• ε-グリーディ、ε-ファースト、UCB1、Exp3といった多様な合理性モデル—現実の電子商取引における限定的合理性を反映—を用いて、アルゴリズムを評価すること。
• 数千人の売り手を含む大規模な設定において、提案手法のスケーラビリティとロバストネスを示すこと。

提案手法

• インプレッション割り当て問題を、状態が歴史的インプレッションデータ、価格、取引、収益を符号化するマルコフ決定過程（MDP）としてモデル化する。
• 提案されたIA(GRU)アルゴリズムは、順序的な状態履歴を処理するためのGRUベースの再帰的ニューラルネットワークを用い、売り手行動における長期的依存性を効果的にモデル化する。
• アクタ・クリティック型の深層強化学習フレームワークを採用し、収束性と安定性を向上させるためにドメイン固有の変更を加えたDDPGアルゴリズムを適応する。
• ポリシー勾配法を用いてエンドツーエンドで学習を行い、戦略的売り手行動下での長期収益最適化を最適化する。
• 10,000人の売り手を含む大規模設定を処理するために、スケールアンドソルブ手法を適用し、問題を50個の200人ずつの部分問題に分割する。
• ε-グリーディ、ε-ファースト、UCB1、Exp3を含む複数の合理性モデルで性能を評価し、売り手意思決定における限定的合理性をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 戦略的売り手行動下で、強化学習に基づくメカニズム設計フレームワークは、従来のヒューリスティック手法を上回ることができるか？
• RQ2 提案されたIA(GRU)アルゴリズムは、ε-グリーディやUCB1といった異なる売り手の合理性モデルにおいて、どのように性能を発揮するか？
• RQ3 GRUベースの記憶機構の統合は、高次元で連続的な状態・行動空間において、学習の安定性と収束性を向上させるか？
• RQ4 IA(GRU)アルゴリズムは、数千人の売り手を含む大規模な電子商取引プラットフォームに効果的にスケーリングできるか？
• RQ5 動的かつ多様な売り手集団において、最新のDDPGおよびヒューリスティックベースラインと比較して、IA(GRU)の性能と安定性はどのように異なるか？

主な発見

• IA(GRU)は、ε-グリーディ、ε-ファースト、UCB1、Exp3を含む、すべてのテスト済みの売り手の合理性モデルにおいて、平均収益の観点でDDPG、グリーディ・マイョピック、Linear UCBヒューリスティックを一貫して上回る。
• DDPGは200人の売り手で収束に失敗しており、高次元設定における不安定性を示している一方、IA(GRU)は安定した高い性能を維持する。
• 変動する売り手を含む設定において、IA(GRU)は他のアルゴリズムが動的条件下で著しく劣化する中で、優れた安定性と性能を示す。
• 10,000人の売り手に対するスケールアンドソルブヒューリスティックでさえも、IA(GRU)はDDPGおよびヒューリスティックに対して明確な性能優位性を維持する。これはスケーラビリティを示している。
• 混合合理性戦略を用いる多様な売り手集団において、IA(GRU)はより高い合計収益と優れた収束性を達成する。
• IA(GRU)におけるGRUの使用は、歴史的状態の記憶を向上させ、学習の安定性と長期収益最適化の向上に寄与する。