[論文レビュー] Targeted Advertising on Social Networks Using Online Variational Tensor Regression

Tsuyoshi Idé, Keerthiram Murugesan+2 more|arXiv (Cornell University)|Aug 22, 2022

Tensor decomposition and applications被引用数 4

ひとこと要約

本稿では、オンライン変分テンソル回帰を用いて、オンラインターゲティング広告におけるユーザー・プロダクトの非均質性をモデル化する、新しいテンソルベースの文脈的バンディットフレームワークであるTensorUCBを提案する。マルチモードテンソルコンテキストと平均場変分推論を活用することで、特にプロダクト多様性が高い状況下でも、累積リグレットとスケーラビリティの面でベースラインを上回る優れたインパルス最大化性能を達成する。

ABSTRACT

This paper is concerned with online targeted advertising on social networks. The main technical task we address is to estimate the activation probability for user pairs, which quantifies the influence one user may have on another towards purchasing decisions. This is a challenging task because one marketing episode typically involves a multitude of marketing campaigns/strategies of different products for highly diverse customers. In this paper, we propose what we believe is the first tensor-based contextual bandit framework for online targeted advertising. The proposed framework is designed to accommodate any number of feature vectors in the form of multi-mode tensor, thereby enabling to capture the heterogeneity that may exist over user preferences, products, and campaign strategies in a unified manner. To handle inter-dependency of tensor modes, we introduce an online variational algorithm with a mean-field approximation. We empirically confirm that the proposed TensorUCB algorithm achieves a significant improvement in influence maximization tasks over the benchmarks, which is attributable to its capability of capturing the user-product heterogeneity.

研究の動機と目的

• ソーシャルネットワーク上のオンラインターゲティング広告におけるインパルス最大化の課題に取り組むこと。ここでは、ユーザーのインパルス確率が未知であり、リアルタイムで学習する必要がある。
• 多様な次元の特徴空間における相互依存関係を捉える統一フレームワークとして、ユーザー、プロダクト、マーケティング戦略の複雑な非均質性をモデル化すること。
• 確率的テンソル回帰と上位信頼区間（UCB）探索を統合したスケーラブルなオンライン学習アルゴリズムを開発し、効率的かつ適応的なシード選定を可能にすること。
• 実騹的に、特にプロダクト多様性が高い状況下で、累積リグレットとインパルス拡散の両面で既存のベースラインを顕著に上回ることを検証すること。

提案手法

• フレームワークは、ユーザー特徴、プロダクト特徴、キャンペーン戦略ベクトルを符号化するマルチモードテンソル（コンテキストテンソル）を用い、ユーザー・プロダクト相互作用の統合的モデリングを可能にする。
• 活性化確率行列をコンテキストテンソルの関数としてモデル化するため、低ランクCPテンソル分解を適用し、異種のユーザーおよびプロダクトタイプにわたる潜在パターンを捉える。
• リアルタイムでのテンソル要因の事後分布の更新を可能にするために、平均場近似を用いたオンライン変分推論アルゴリズムを開発した。これにより、効率的な逐次学習が実現される。
• テンソル回帰からの予測分布を用いて、UCB形式のポリシーで信頼区間を計算し、シード選定の過程で探索と活用のバランスを取る。
• アルゴリズムは、'アーム'がシードユーザーに対応し、'コンテキスト'がユーザー・プロダクトテンソルであり、'報酬'が発生した購入数である文脈的バンディット問題として定式化される。
• 閉形式の予測分布に基づいて、リグレットバウンドの解析を導出し、アルゴリズムの性能に対する理論的裏付けを提供する。

実験結果

リサーチクエスチョン

• RQ1 テンソルベースのフレームワークは、オンライン広告における多様なユーザーの好み、プロダクトタイプ、マーケティング戦略を効果的にモデル化し一般化できるか？
• RQ2 オンライン変分テンソル回帰とUCBポリシーの統合は、従来の線形または因子分解型バンディット手法と比較して、インパルス最大化にどのように寄与するか？
• RQ3 特にDiggのような高プロダクト多様性を示すデータセットにおいて、テンソルランクRの性能とリグレットに与える影響は何か？
• RQ4 提案手法の計算コストはグラフサイズとテンソル次元数に対してどのようにスケーリングするか？実際の応用において、ベースラインと比較してどうなるか？

主な発見

• Diggデータセットのような高非均質性環境下でも、Random、IMLinUCB、DILinUCBといったベースラインと比較して、TensorUCBは累積リグレットを顕著に低減する。
• IMFBがシミュレーテッドデータで学習されたとしても、TensorUCBはインパルス拡散の面でIMFBおよびCOINを上回り、複雑なユーザー・プロダクトダイナミクスを有する現実世界のデータにおいても高いロバストネスを示す。
• テンソルランクRを増加させることで、リグレット性能が最適化点まで向上し、ユーザーとプロダクト間の複数の潜在的インパルスパターンをモデルが捉える能力を裏付ける。
• 1ラウンドあたりの計算時間はグラフサイズに線形にスケーリングされ、大規模なソーシャルネットワークにおいても効率的かつ実用的である。IMLinUCBと同等の性能を発揮するが、はるかに優れたリグレット低減効果を示す。
• FlixsterおよびDiggといった多様なデータセットにおいて、安定した性能を維持しており、データスパarsityやプロダクトカテゴリの非均質性の程度の違いに対しても耐性がある。
• テンソルベースのコンテキストモデリングとUCBの統合により、特徴に依存しない、または線形バンディットベースラインよりも優れた一般化性能が得られ、特にプロダクト固有の拡散ダイナミクスに顕著な差が生じる状況で顕著である。