[论文解读] Leaving No One Behind: A Multi-Scenario Multi-Task Meta Learning Approach for Advertiser Modeling

Qianqian Zhang, Xinru Liao+3 more|arXiv (Cornell University)|Jan 18, 2022

Recommender Systems and Techniques被引用 6

一句话总结

本文提出 M2M，一种用于广告主建模的多场景多任务元学习框架，可联合预测多种广告场景（如信息流搜索、展示广告、直播带货）下的多个广告主表现指标（例如支出、点击量、活跃率）。通过整合场景特定知识的元单元、用于动态捕捉跨场景相关性的元注意力机制，以及用于场景感知表征的元塔结构，M2M 实现了最先进性能，在线上 A/B 测试中，广告主活跃率提升 +2.59%，ARPU 提升 +2.09%。

ABSTRACT

Advertisers play an essential role in many e-commerce platforms like Taobao and Amazon. Fulfilling their marketing needs and supporting their business growth is critical to the long-term prosperity of platform economies. However, compared with extensive studies on user modeling such as click-through rate predictions, much less attention has been drawn to advertisers, especially in terms of understanding their diverse demands and performance. Different from user modeling, advertiser modeling generally involves many kinds of tasks (e.g. predictions of advertisers' expenditure, active-rate, or total impressions of promoted products). In addition, major e-commerce platforms often provide multiple marketing scenarios (e.g. Sponsored Search, Display Ads, Live Streaming Ads) while advertisers' behavior tend to be dispersed among many of them. This raises the necessity of multi-task and multi-scenario consideration in comprehensive advertiser modeling, which faces the following challenges: First, one model per scenario or per task simply doesn't scale; Second, it is particularly hard to model new or minor scenarios with limited data samples; Third, inter-scenario correlations are complicated, and may vary given different tasks. To tackle these challenges, we propose a multi-scenario multi-task meta learning approach (M2M) which simultaneously predicts multiple tasks in multiple advertising scenarios.

研究动机与目标

• 解决电商平台上广告主建模缺乏全面建模的问题，尽管用户建模已得到广泛研究。
• 克服新场景或次要广告场景中数据稀疏性问题，以及复杂且与任务相关的跨场景关联性挑战。
• 在可扩展且统一的框架下，实现对多个广告场景中多个广告主表现任务（如支出、点击量、活跃率）的联合预测。
• 开发一种能良好泛化至新场景的模型，即使在训练样本有限的情况下也能保持高性能。

提出的方法

• 提出多层级元单元，通过整合场景特定知识，学习显式的跨场景关联性，并为下游预测网络生成自适应层权重。
• 引入元注意力模块，根据具体预测任务（如支出 vs. 点击量）动态捕捉多样化的跨场景关联性。
• 设计元塔模块，通过学习分层融合模式，增强场景特定特征的表征能力。
• 使用联合泊松损失函数，在多任务学习设置下端到端优化多个回归任务（如支出、点击量、活跃天数）。
• 利用基于 Transformer 的时间编码器建模随时间演变的广告主行为模式，提升长期预测准确性。
• 采用元学习原则进行模型训练，通过学习到的元知识实现对新场景或低资源场景的快速适应。

实验结果

研究问题

• RQ1 如何构建统一模型，以在多样化广告场景中有效预测多个广告主表现任务（如支出、点击量、活跃率）？
• RQ2 在多场景多任务学习中，哪些机制可显式建模复杂且与任务相关的跨场景关联性？
• RQ3 如何使模型在不依赖场景特定微调的情况下，泛化至新场景或数据稀缺的广告场景？
• RQ4 元学习与注意力机制在工业级平台广告主建模中，能在多大程度上提升表征学习能力？

主要发现

• 在离线评估中，M2M 显著优于最先进基线模型，尤其在低数据场景下，得益于跨场景的有效知识迁移。
• 在奖励任务工具的线上 A/B 测试中，使用 M2M 预测结果使广告主活跃率提升 +2.59%，ARPU 提升 +2.09%。
• 模型性能对序列长度敏感，当 T=40 时表现最佳；更长的序列会引入噪声并导致性能下降。
• 场景知识维度 d 增加可提升性能，直至 d=64，之后收益趋于平缓，表明在此之后出现收益递减。
• 具有 K=3 层的元单元在模型容量与泛化能力之间实现最佳平衡；更深的网络（K>3）导致过拟合和性能下降。
• 消融实验表明，移除 Transformer 层或元组件会导致性能显著下降，验证了其在建模时间与结构依赖关系中的关键作用。