[论文解读] LADDER: A Human-Level Bidding Agent for Large-Scale Real-Time Online Auctions

Yu Wang, Jiayi Liu+6 more|arXiv (Cornell University)|Aug 18, 2017

Auction Theory and Applications参考文献 20被引用 13

一句话总结

LADDER 是一种基于 DASQN 的深度强化学习智能体，能够直接从实时在线拍卖的原始文本描述中学习最优出价策略，实现人类水平的性能表现。在一次大型促销活动中，该智能体使京东的广告收入增长超过50%，同时提升了广告商的投资回报率，优于人工设计的基准策略。

ABSTRACT

We present LADDER, the first deep reinforcement learning agent that can successfully learn control policies for large-scale real-world problems directly from raw inputs composed of high-level semantic information. The agent is based on an asynchronous stochastic variant of DQN (Deep Q Network) named DASQN. The inputs of the agent are plain-text descriptions of states of a game of incomplete information, i.e. real-time large scale online auctions, and the rewards are auction profits of very large scale. We apply the agent to an essential portion of JD's online RTB (real-time bidding) advertising business and find that it easily beats the former state-of-the-art bidding policy that had been carefully engineered and calibrated by human experts: during JD.com's June 18th anniversary sale, the agent increased the company's ads revenue from the portion by more than 50%, while the advertisers' ROI (return on investment) also improved significantly.

研究动机与目标

• 开发一种强化学习智能体，能够在不依赖手工特征的情况下，学习大规模实时在线拍卖中的最优出价策略。
• 实现直接从高层次语义输入（如纯文本状态描述）进行学习，模拟人类在复杂、信息不完全环境中的决策过程。
• 在真实世界的工业应用中超越专家设计的出价策略，特别是在广告收入生成和广告商投资回报率方面。
• 证明端到端深度强化学习在真实世界、高风险、大规模在线广告系统中的可行性。

提出的方法

• 该智能体使用深度Q网络（DQN）的异步随机变体 DASQN，以在大规模环境中稳定训练并提高样本效率。
• 将包含出价值、时间及市场状况等语义信息的拍卖状态原始文本描述，直接作为神经网络的输入。
• 使用稀疏但高回报的信号（代表拍卖利润）进行训练，这些信号在数百万次拍卖事件中具有密集性和可扩展性。
• 该架构能够处理连续的拍卖状态，以建模时间依赖性，并在实时环境中动态调整出价行为。
• 训练过程采用经验回放和目标网络技术以稳定学习，这是基于DQN方法的典型做法。
• 该系统已部署于京东商城的真实世界实时竞价（RTB）广告平台，在生产规模约束下运行。

实验结果

研究问题

• RQ1 深度强化学习智能体能否直接从大规模实时拍卖的原始文本状态描述中学习到有效的出价策略？
• RQ2 在真实世界的工业环境中，端到端深度强化学习是否优于人工设计、专家调优的出价策略？
• RQ3 该智能体是否能在实际广告平台中实现人类水平的性能表现，体现在广告收入增长和投资回报率提升方面？
• RQ4 该智能体在缺乏显式特征工程的情况下，能否在不同市场条件和拍卖动态中实现良好泛化？

主要发现

• 在京东618周年大促期间，LADDER相较于之前的最先进出价策略，使广告收入提升了50%。
• 广告商的投资回报率（ROI）显著改善，表明该智能体在效率和目标定位方面表现更优。
• 该智能体优于经过数月人工调优的、精心校准的人工设计出价策略。
• 该系统成功地从原始文本输入中进行学习，无需手工特征或领域特定的预处理。
• 该智能体在真实世界、大规模的RTB环境中表现出鲁棒性和可扩展性，适用于高频、信息不完全的拍卖场景。