[论文解读] Learning to Create Better Ads: Generation and Ranking Approaches for Ad Creative Refinement

Shaunak Mishra, Manisha Verma+3 more|arXiv (Cornell University)|Aug 17, 2020

Advanced Text Analysis Techniques参考文献 20被引用 4

一句话总结

本文提出了一种协作式、数据驱动的框架，利用多广告商A/B测试数据实现广告创意的自动化优化。该框架引入了带有复制机制的序列到序列生成模型用于广告文本优化，并采用深度相关性匹配模型对关键词和图像标签进行排序，通过真实广告商的在线A/B测试，实现了87%的点击率（CTR）提升。

ABSTRACT

In the online advertising industry, the process of designing an ad creative (i.e., ad text and image) requires manual labor. Typically, each advertiser launches multiple creatives via online A/B tests to infer effective creatives for the target audience, that are then refined further in an iterative fashion. Due to the manual nature of this process, it is time-consuming to learn, refine, and deploy the modified creatives. Since major ad platforms typically run A/B tests for multiple advertisers in parallel, we explore the possibility of collaboratively learning ad creative refinement via A/B tests of multiple advertisers. In particular, given an input ad creative, we study approaches to refine the given ad text and image by: (i) generating new ad text, (ii) recommending keyphrases for new ad text, and (iii) recommending image tags (objects in image) to select new ad image. Based on A/B tests conducted by multiple advertisers, we form pairwise examples of inferior and superior ad creatives, and use such pairs to train models for the above tasks. For generating new ad text, we demonstrate the efficacy of an encoder-decoder architecture with copy mechanism, which allows some words from the (inferior) input text to be copied to the output while incorporating new words associated with higher click-through-rate. For the keyphrase and image tag recommendation task, we demonstrate the efficacy of a deep relevance matching model, as well as the relative robustness of ranking approaches compared to ad text generation in cold-start scenarios with unseen advertisers. We also share broadly applicable insights from our experiments using data from the Yahoo Gemini ad platform.

研究动机与目标

• 解决在线广告中广告创意设计与优化过程耗时且依赖人工的问题。
• 利用多个广告商之间的协作式A/B测试数据，提升广告创意生成与排序的效果。
• 开发无需依赖中间CTR预测模型的生成模型，以生成优化后的广告文本，并推荐有效的关键词与图像标签。
• 评估基于排序的方法在面对未见过的广告商时的冷启动场景下的鲁棒性。
• 通过与主要广告商进行真实世界的A/B测试，验证所提出框架的有效性。

提出的方法

• 利用来自多广告商A/B测试的劣质与优质广告创意成对样本进行模型训练。
• 采用编码器-解码器架构并引入复制机制，以生成新的广告文本，允许从输入中复制高绩效词汇，同时引入新的高CTR术语。
• 应用深度相关性匹配模型（DRMM），结合查询-词项特征（如类别、图像标签）对关键词和图像标签进行排序。
• 将类别和图像标签特征作为查询项，以提升排序模型中的相关性。
• 通过将排序模型输出的顶级关键词注入生成的文本中，整合生成与排序结果，以提升覆盖度与召回率。
• 将排序模型作为内部服务集成至Yahoo Gemini账户团队，支持与真实广告商的端到端A/B测试。

实验结果

研究问题

• RQ1 能否有效利用多个广告商之间的协作式A/B测试数据，训练出用于自动化广告创意优化的模型？
• RQ2 与基线方法相比，带有复制机制的序列到序列生成模型在生成高CTR广告文本方面的效果如何？
• RQ3 基于排序的关键词与图像标签推荐方法在冷启动场景下，对未见过的广告商的泛化能力如何？
• RQ4 将排序输出与生成结果结合，能否提升优化后广告创意的质量与覆盖度？
• RQ5 所提出的框架是否能在与主要广告商的真实A/B测试中带来可测量的CTR提升？

主要发现

• 带有复制机制的广告文本生成模型在冷启动场景下，关键词召回率的R@10下降仅7%，显著优于基线生成模型的33%下降。
• 使用类别和图像标签作为查询项的DRMM关键词排序方法，在NDCG@10上达到54%，优于TF-IDF与EMB-SIM基线方法。
• DRMM结合类别与图像标签的图像标签排序方法在NDCG@10上达到55%，且排名靠前的标签与类别具有强语义关联（如汽车类别中的“car”与“wheel”）。
• 将排序模型中排名靠前的关键词注入生成文本后，冷启动设置下的召回率从0.43提升至0.45，且未影响精确率，证明了生成与排序方法之间的有效互补性。
• 与一家主要互联网服务提供商进行的在线A/B测试显示，优化后的广告创意CTR提升了87%，验证了推荐方法在真实场景中的影响力。
• 在冷启动场景下，基于排序的方法比文本生成更具鲁棒性，关键词排序即使在面对未见过的广告商时仍保持强劲性能。