[论文解读] A Multi-Agent Reinforcement Learning Method for Impression Allocation in Online Display Advertising

Di Wu, Cheng Chen+5 more|arXiv (Cornell University)|Sep 10, 2018

Auction Theory and Applications参考文献 23被引用 9

一句话总结

本文提出 MAPOLO，一种多智能体强化学习方法，将保证合同视为实时拍卖中的出价代理，以在合同与 RTB（实时竞价）之间最优分配展示量，从而在不稳定环境中最大化出版商收益。该方法相比 SOTA 多智能体强化学习方法收敛更快且可扩展性更强，在大规模数据集上仅需不到 10,000 秒即可达到 90% 的最优收益。

ABSTRACT

In online display advertising, guaranteed contracts and real-time bidding (RTB) are two major ways to sell impressions for a publisher. Despite the increasing popularity of RTB, there is still half of online display advertising revenue generated from guaranteed contracts. Therefore, simultaneously selling impressions through both guaranteed contracts and RTB is a straightforward choice for a publisher to maximize its yield. However, deriving the optimal strategy to allocate impressions is not a trivial task, especially when the environment is unstable in real-world applications. In this paper, we formulate the impression allocation problem as an auction problem where each contract can submit virtual bids for individual impressions. With this formulation, we derive the optimal impression allocation strategy by solving the optimal bidding functions for contracts. Since the bids from contracts are decided by the publisher, we propose a multi-agent reinforcement learning (MARL) approach to derive cooperative policies for the publisher to maximize its yield in an unstable environment. The proposed approach also resolves the common challenges in MARL such as input dimension explosion, reward credit assignment, and non-stationary environment. Experimental evaluations on large-scale real datasets demonstrate the effectiveness of our approach.

研究动机与目标

• 解决在不稳定、动态的广告环境中，保证合同与实时竞价（RTB）之间最优展示量分配的挑战。
• 通过联合优化合同履行、RTB 收益和惩罚规避，最大化出版商收益。
• 设计一种可扩展且高效的多智能体强化学习框架，克服输入维度爆炸、奖励信用分配和非平稳环境等常见挑战。
• 通过将保证合同建模为具有最优出价函数的虚拟竞标者，使合同能够参与实时拍卖。

提出的方法

• 将展示量分配问题建模为拍卖问题，其中每个保证合同针对单个展示量提交虚拟出价。
• 通过博弈论分析推导出合同的最优出价函数，确保最优分配策略。
• 提出 MAPOLO，一种基于 MADDPG 的集中训练、分散执行多智能体强化学习框架，引入新颖的奖励函数以减少非平稳性。
• 提出一种奖励函数（公式 6），直接反映出版商的总收益，提升信用分配效率并加快收敛速度。
• 设计输入表示方式，在智能体数量增加的情况下仍能保持每个智能体的低维输入，从而提升可扩展性。
• 采用集中式评论家以协调策略，并实现合同竞标者行为的联合优化。

实验结果

研究问题

• RQ1 如何有效将保证合同整合到实时拍卖中，以提升展示量分配效率和出版商收益？
• RQ2 在动态、不稳定的环境中，当与 RTB 竞争时，保证合同的最优出价策略是什么？
• RQ3 如何设计多智能体强化学习方法，以应对大规模广告系统中输入维度爆炸、奖励信用分配和非平稳环境的挑战？
• RQ4 集中训练、分散执行框架是否能在收敛速度和可扩展性方面优于现有多智能体强化学习方法，用于展示量分配？
• RQ5 所提出的奖励函数在非平稳广告环境中对学习稳定性与收敛性有何影响？

主要发现

• 在出版商 1（68 个智能体）和出版商 3（25 个智能体）的数据集上，MAPOLO 均在 10,000 秒内收敛至最优收益的 90%（$R/R^* = 0.9$）。
• 与 MADDPG 相比，MAPOLO 实现了显著更快的收敛速度：当智能体数量增加 2.7 倍时，MAPOLO 的每回合时间仅增加 2.5 倍，而 MADDPG 增加了 4.7 倍。
• 所提出的 MAPOLO 奖励函数降低了非平稳性的影响，带来更稳定、高效的训练过程。
• 无论合同数量多少，MAPOLO 均能保持每个智能体的低输入维度，从而实现向大规模工业应用的可扩展性。
• 在收敛效率和可扩展性方面，MAPOLO 均优于当前最先进的多智能体强化学习基线方法，展现出在实际部署中的可行性。