[論文レビュー] Leaving No One Behind: A Multi-Scenario Multi-Task Meta Learning Approach for Advertiser Modeling

Qianqian Zhang, Xinru Liao+3 more|arXiv (Cornell University)|Jan 18, 2022

Recommender Systems and Techniques被引用数 6

ひとこと要約

本稿では、スポンサードサーチ、ディスプレイ広告、ライブストリーミングを含む多様な広告シナリオにおける広告主のパフォーマンス指標（例：広告費、クリック数、アクティブ率）を同時に予測する、マルチシナリオ・マルチタスクのメタラーニングフレームワークM2Mを提案する。シナリオ固有の知識を統合するメタユニット、動的かつシナリオ間相関を捉えるメタアテンション、およびシナリオに適応した表現を学習するメタタワーを備えることで、M2Mは最先端の性能を達成し、オンラインA/Bテストでは広告主アクティブ率が+2.59%、ARPU（ユーザーあたり平均収益）が+2.09%向上した。

ABSTRACT

Advertisers play an essential role in many e-commerce platforms like Taobao and Amazon. Fulfilling their marketing needs and supporting their business growth is critical to the long-term prosperity of platform economies. However, compared with extensive studies on user modeling such as click-through rate predictions, much less attention has been drawn to advertisers, especially in terms of understanding their diverse demands and performance. Different from user modeling, advertiser modeling generally involves many kinds of tasks (e.g. predictions of advertisers' expenditure, active-rate, or total impressions of promoted products). In addition, major e-commerce platforms often provide multiple marketing scenarios (e.g. Sponsored Search, Display Ads, Live Streaming Ads) while advertisers' behavior tend to be dispersed among many of them. This raises the necessity of multi-task and multi-scenario consideration in comprehensive advertiser modeling, which faces the following challenges: First, one model per scenario or per task simply doesn't scale; Second, it is particularly hard to model new or minor scenarios with limited data samples; Third, inter-scenario correlations are complicated, and may vary given different tasks. To tackle these challenges, we propose a multi-scenario multi-task meta learning approach (M2M) which simultaneously predicts multiple tasks in multiple advertising scenarios.

研究の動機と目的

• ユーザーモデリングに関する広範な研究とは対照的に、ECプラットフォームにおける広告主の包括的モデリングの欠如に対処すること。
• 新規または小規模な広告シナリオにおけるデータスパarsity問題と、複雑でタスク依存のシナリオ間相関の課題を克服すること。
• スケーラブルかつ統合的なフレームワーク内で、複数の広告シナリオにまたがる複数の広告主パフォーマンスタスク（例：広告費、クリック数、アクティブ率）を共同で予測すること。
• 新しいシナリオに一般化しやすく、限られたトレーニングサンプルでも高いパフォーマンスを維持できるモデルを開発すること。

提案手法

• シナリオ固有の知識を統合し、明示的なシナリオ間相関を学習し、下流の予測ネットワークのための適応的層重みを生成する、マルチレベルメタユニットを提案する。
• 特定の予測タスク（例：広告費対クリック数）に応じて、多様なシナリオ間相関を動的に捉えるメタアテンションモジュールを導入する。
• 階層的統合パターンを学習することで、シナリオ固有の特徴の表現を強化するメタタワーモジュールを設計する。
• 複数の回帰タスク（例：広告費、クリック数、アクティブ日数）を一括最適化するためのジョイントポisson損失関数を用い、マルチタスク学習設定でエンドツーエンド最適化する。
• 時系列広告主行動パターンをモデル化するためのトランスフォーマー基盤の時系列エンコーダーを活用し、長期予測精度を向上させる。
• メタラーニングの原則に基づきモデルを訓練することで、学習されたメタ知識を通じて、新規またはリソースが限られたシナリオへの迅速な適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多様な広告シナリオにまたがる複数の広告主パフォーマンスタスク（例：広告費、クリック数、アクティブ率）を効果的に予測する統合モデルはどのように構築できるか？
• RQ2 マルチシナリオ・マルチタスク学習において、複雑でタスク依存のシナリオ間相関を明示的にモデル化するメカニズムは何か？
• RQ3 シナリオ固有の再トレーニングに依存せずに、新しいまたはデータが乏しい広告シナリオに一般化できるモデルはどのように設計できるか？
• RQ4 メタラーニングとアテンションメカニズムは、産業スケールのプラットフォームにおける広告主モデリングの表現学習をどの程度向上させられるか？

主な発見

• M2Mは、特にデータが少ないシナリオにおいて、有効なシナリオ間知識移行のおかげで、最先端のベースラインを著しく上回る性能を示した。
• 報酬タスクツールにおけるオンラインA/Bテストでは、M2M予測を用いることで、広告主アクティブ率が+2.59%、ARPU（ユーザーあたり平均収益）が+2.09%向上した。
• モデルのパフォーマンスはシーケンス長に敏感であり、最適な性能はT=40で達成される。それ以上の長さではノイズが増加し、性能が低下する。
• シナリオ知識の次元（d）を増やすと、d=64まで性能が向上するが、以降は増益が収束し、これ以上に効果が薄れることが示された。
• K=3層のメタユニットが、容量と一般化性能のバランスを最良に保つ。K>3のより深いネットワークでは過学習が生じ、性能が低下する。
• アブレーションスタディの結果、トランスフォーマー層やメタコンponentを削除すると、性能が著しく低下することが確認され、これらが時間的・構造的依存関係をモデル化する上で不可欠であることが裏付けられた。