[論文レビュー] Learning to Create Better Ads: Generation and Ranking Approaches for Ad Creative Refinement

Shaunak Mishra, Manisha Verma+3 more|arXiv (Cornell University)|Aug 17, 2020

Advanced Text Analysis Techniques参考文献 20被引用数 4

ひとこと要約

本論文では、複数の広告主のA/Bテストデータを活用した協調的でデータ駆動型のフレームワークを提案し、自動広告クリエイティブの最適化を実現する。広告本文の最適化には、コピーメカニズムを備えた系列対系列生成を導入し、キーフレーズおよび画像タグの順位付けにはディープリレバンスマッチングモデルを採用。実際の広告主を対象としたオンラインA/BテストでCTRが87%向上した。

ABSTRACT

In the online advertising industry, the process of designing an ad creative (i.e., ad text and image) requires manual labor. Typically, each advertiser launches multiple creatives via online A/B tests to infer effective creatives for the target audience, that are then refined further in an iterative fashion. Due to the manual nature of this process, it is time-consuming to learn, refine, and deploy the modified creatives. Since major ad platforms typically run A/B tests for multiple advertisers in parallel, we explore the possibility of collaboratively learning ad creative refinement via A/B tests of multiple advertisers. In particular, given an input ad creative, we study approaches to refine the given ad text and image by: (i) generating new ad text, (ii) recommending keyphrases for new ad text, and (iii) recommending image tags (objects in image) to select new ad image. Based on A/B tests conducted by multiple advertisers, we form pairwise examples of inferior and superior ad creatives, and use such pairs to train models for the above tasks. For generating new ad text, we demonstrate the efficacy of an encoder-decoder architecture with copy mechanism, which allows some words from the (inferior) input text to be copied to the output while incorporating new words associated with higher click-through-rate. For the keyphrase and image tag recommendation task, we demonstrate the efficacy of a deep relevance matching model, as well as the relative robustness of ranking approaches compared to ad text generation in cold-start scenarios with unseen advertisers. We also share broadly applicable insights from our experiments using data from the Yahoo Gemini ad platform.

研究の動機と目的

• オンライン広告における広告クリエイティブの設計および最適化が時間と人的リソースを喰い込む手作業のプロセスを是正すること。
• 複数の広告主にまたがる協調的A/Bテストデータを活用し、広告クリエイティブの生成と順位付けを向上させること。
• 中間のCTR予測モデルに依存せずに、改善された広告本文の生成および効果的なキーフレーズと画像タグの推薦を実現するモデルの開発。
• 未学習の広告主を含むコールドスタート状況における順位付けベースのアプローチの頑健性を評価すること。
• 主要広告主を対象とした実世界のA/Bテストを通じて、提案フレームワークの有効性を検証すること。

提案手法

• 複数の広告主のA/Bテストから得られる劣悪広告クリエイティブと優れた広告クリエイティブのペairワイズ例を用いて、モデルを学習。
• コピーメカニズムを備えたエンコーダデコーダアーキテクチャを採用し、入力から高パフォーマンスの語をコピーやる一方で、新しい高CTR語を導入する広告本文を生成。
• クエリ-トークン特徴（例：カテゴリ、画像タグ）を用いたディープリレバンスマッチングモデル（DRMM）を適用し、キーフレーズおよび画像タグの順位付けを実施。
• カテゴリおよび画像タグ特徴をクエリ項として統合し、順位付けモデルにおける関連性の向上を図る。
• 生成モデルと順位付けモデルの出力を統合し、上位順位のキーフレーズを生成されたテキストに埋め込むことで、カバレッジと再現率の向上を実現。
• 順位付けモデルをYahoo Geminiアカウントチームの内部サービスとして統合し、実広告主を対象としたエンドツーエンドのA/Bテストを可能にした。

実験結果

リサーチクエスチョン

• RQ1 複数の広告主にまたがる協調的A/Bテストデータは、自動広告クリエイティブ最適化のためのモデル学習に効果的に活用可能か？
• RQ2 コピーメカニズムを備えた系列対系列生成は、ベースライン手法に比べて高CTR広告本文の生成においてどの程度有効か？
• RQ3 キーフレーズおよび画像タグ推薦の順位付けベースのアプローチは、未学習の広告主を含むコールドスタート状況においてどの程度一般化可能か？
• RQ4 順位付けの出力を生成結果と統合することで、最適化された広告クリエイティブの品質とカバレッジが向上するか？
• RQ5 提案されたフレームワークは、主要広告主を対象とした実世界のA/Bテストで測定可能なCTR向上をもたらすか？

主な発見

• コピーメカニズムを備えた広告本文生成モデルは、コールドスタート状況においてキーフレーズ再現率のR@10が7%低下に抑えられ、ベースライン生成モデルの33%低下と比べ顕著に優れた性能を示した。
• カテゴリおよび画像タグをクエリ項として用いたDRMMによるキーフレーズ順位付けは、NDCG@10で54%を達成し、TF-IDFおよびEMB-SIMベースラインを上回った。
• カテゴリおよび画像タグをクエリ項として用いたDRMMによる画像タグ順位付けは、NDCG@10で55%を達成し、上位順位のタグがカテゴリと強い意味的整合性を示した（例：自動車カテゴリでは「car」と「wheel」）。
• 生成テキストに上位順位のキーフレーズを統合することで、コールドスタート状況で再現率が0.43から0.45に向上したが、正確率に影響はなく、両者の相乗効果が明確に示された。
• 主要インターネットサービスプロバイダーを対象としたオンラインA/Bテストでは、最適化されたクリエイティブでCTRが87%向上し、実世界への影響を裏付ける結果が得られた。
• コールドスタート状況において、順位付けベースのアプローチはテキスト生成より高い頑健性を示し、未学習の広告主に対しても強力な性能を維持した。