[論文レビュー] LADDER: A Human-Level Bidding Agent for Large-Scale Real-Time Online Auctions

Yu Wang, Jiayi Liu+6 more|arXiv (Cornell University)|Aug 18, 2017

Auction Theory and Applications参考文献 20被引用数 13

ひとこと要約

LADDER は DASQN をベースにした深層強化学習エージェントであり、リアルタイムのオンラインオークションの生テキスト記述から直接最適入札戦略を学習し、人間水準のパフォーマンスを達成している。JD社の主要なセール期間中に広告収益を50%以上増加させるとともに広告主のROIも向上させ、手動で設計されたベンチマーク政策を上回った。

ABSTRACT

We present LADDER, the first deep reinforcement learning agent that can successfully learn control policies for large-scale real-world problems directly from raw inputs composed of high-level semantic information. The agent is based on an asynchronous stochastic variant of DQN (Deep Q Network) named DASQN. The inputs of the agent are plain-text descriptions of states of a game of incomplete information, i.e. real-time large scale online auctions, and the rewards are auction profits of very large scale. We apply the agent to an essential portion of JD's online RTB (real-time bidding) advertising business and find that it easily beats the former state-of-the-art bidding policy that had been carefully engineered and calibrated by human experts: during JD.com's June 18th anniversary sale, the agent increased the company's ads revenue from the portion by more than 50%, while the advertisers' ROI (return on investment) also improved significantly.

研究の動機と目的

• 手作業による特徴抽出に依存せずに、大規模なリアルタイムオンラインオークションにおいて最適な入札戦略を学習できる強化学習エージェントの開発。
• 平文の状態記述などの上位レベルの意味的入力を直接学習可能とし、複雑で情報が不完全な環境における人間の意思決定を模倣すること。
• 特に広告主の収益生成とROI向上において、熟練者が設計した入札政策を上回る実世界の産業応用でのパフォーマンスを達成すること。
• 実世界の高リスク・大規模なオンライン広告システムにおいて、エンドツーエンドの深層強化学習の実現可能性を示すこと。

提案手法

• エージェントは、大規模環境における学習の安定化とサンプル効率の向上を図るため、Deep Q-Network (DQN) の非同期確率的変種である DASQN を使用している。
• 入札状態に関する意味的情報を含む、生のテキスト記述（入札額、時間、市場状況など）をニューラルネットワークへの直接入力として用いている。
• オークション利益を表すスパarsな高報酬信号を用いてエージェントを訓練しており、これは数百万件のオークションイベントにわたって密度的かつスケーラブルである。
• エージェントは時系列的なオークション状態を処理することで時間的依存性をモデル化し、リアルタイムで入札行動を動的に適応させている。
• 学習の安定化に寄与する経験リプレイとターゲットネットワークを、DQNベースの手法に準拠して活用している。
• システムはJD.comの本番環境におけるリアルタイム入札（RTB）広告プラットフォームに実装されており、本番規模の制約下で動作している。

実験結果

リサーチクエスチョン

• RQ1 大規模なリアルタイムオークションにおいて、生のテキスト状態記述から直接効果的な入札戦略を学習できるか？
• RQ2 エンドツーエンドの深層強化学習は、実世界の産業環境において手作業で設計された熟練者チューニング済み入札戦略を上回るか？
• RQ3 このようなエージェントは、ライブ広告プラットフォームにおいて収益生成とROI向上という点で人間水準のパフォーマンスを達成できるか？
• RQ4 明示的な特徴抽出なしに、変化する市場状況やオークションダイナミクスに対して、エージェントはどのように一般化するか？

主な発見

• LADDER は、JD社の6月18日記念セール期間中に、前回の最先端入札政策と比較して広告収益を50%増加させた。
• 広告主の投資利益率（ROI）が顕著に向上し、エージェントによる効率的で的確なターゲティングが実証された。
• 数か月にわたる手動チューニングを経て最適化された、熟練者が設計した入札戦略よりも優れたパフォーマンスを示した。
• 手作業による特徴抽出やドメイン固有の前処理を一切行わずに、生のテキスト入力から学習を成功させた。
• 高頻度で情報が不完全な環境下でも、実世界の大規模RTB環境において、エージェントは強靭性とスケーラビリティを示した。