[論文レビュー] Dynamic Learning of Sequential Choice Bandit Problem under Marketing Fatigue

Junyu Cao, Wei Sun|arXiv (Cornell University)|Mar 19, 2019

Advanced Bandit Algorithms Research参考文献 22被引用数 5

ひとこと要約

本稿は、マーケティング疲労をモデル化するための順序選択バンディット（SC-Bandit）問題を導入し、ユーザーがメッセージを受け取った後、受容、スキップ、放棄のいずれかの選択をとる状況を扱う。著者らは、探索と活用のバランスを取る動的学習アルゴリズムを提案し、レグレットバウンドを $O(Nackslashsqrt{T\log T})$ に達成した。さらに、GLM-UCBを用いてユーザーの文脈を統合することで、パーソナライズ化を実現した拡張モデルを提示した。

ABSTRACT

Motivated by the observation that overexposure to unwanted marketing activities leads to customer dissatisfaction, we consider a setting where a platform offers a sequence of messages to its users and is penalized when users abandon the platform due to marketing fatigue. We propose a novel sequential choice model to capture multiple interactions taking place between the platform and its user: Upon receiving a message, a user decides on one of the three actions: accept the message, skip and receive the next message, or abandon the platform. Based on user feedback, the platform dynamically learns users' abandonment distribution and their valuations of messages to determine the length of the sequence and the order of the messages, while maximizing the cumulative payoff over a horizon of length T. We refer to this online learning task as the sequential choice bandit problem. For the offline combinatorial optimization problem, we show that an efficient polynomial-time algorithm exists. For the online problem, we propose an algorithm that balances exploration and exploitation, and characterize its regret bound. Lastly, we demonstrate how to extend the model with user contexts to incorporate personalization.

研究の動機と目的

• マーケティング疲労の課題に取り組み、過剰なメッセージ送信がユーザーの離脱やプラットフォームのペナルティを引き起こすような、順序付きデジタルメッセージ配信の文脈において、最適化を実現すること。
• ユーザー行動を、受容、スキップ、放棄の3つの行動をとる順序選択プロセスとしてモデル化し、現実世界の関与ダイナミクスを反映すること。
• 累積報酬を最大化するため、時間経過とともにメッセージの価値と放棄確率を同時に学習するオンライン学習フレームワークを構築すること。
• 最適なメッセージ順序を効率的に計算可能にするため、オフライン最適化問題に対する効率的アルゴリズムを設計すること。
• ユーザー固有の文脈を統合することで、パーソナライズドメッセージ順序付けを可能とし、関与度の向上を図ること。

提案手法

• ユーザーが各メッセージの後、受容、スキップ、放棄のいずれかの選択をとる新しい順序選択モデルを提案し、報酬と放棄ペナルティを定式化する。
• オフライン問題を組み合わせ最適化問題として定式化し、メッセージの報酬対放棄確率比に基づく貪欲アルゴリズムを用いることで、多項式時間内に解が得られることを証明する。
• 順序付きシーケンスにおけるメッセージ価値と放棄確率の両方を学習する、オンラインの探索と活用のバランスを取るアルゴリズムを設計する。
• オンラインアルゴリズムのレグレットバウンドを $O(N\backslashsqrt{T\log T})$ として導出する。ここで $N$ はメッセージ数、$T$ は時間枠を表す。
• ユーザー特徴を用いてメッセージ価値と放棄確率を関数としてモデル化するGLM-UCBに基づくアルゴリズムを導入し、文脈的SC-Bandit問題に対応する。
• 合成実験を用いて、提案アルゴリズムと探索後に活用するベンチマークを比較し、非文脈的および文脈的両設定において優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーがマーケティング疲労により放棄する可能性がある状況下で、プラットフォームが累積報酬を最大化するための最適なメッセージ順序をどのように決定できるか。
• RQ2 順序選択と放棄を伴う状況下で、オフライン最適シーケンス選択問題の計算複雑度はどの程度か。
• RQ3 ユーザーの放棄によってフィードバックが遮断される状況下で、オンライン学習アルゴリズムが探索と活用のバランスを効果的に取れるか。
• RQ4 順序選択バンディット設定におけるオンライン学習に対して、理論的に確立可能なレグレットバウンドは何か。
• RQ5 ユーザー固有の文脈をどのようにメッセージ順序ポリシーに統合することで、パーソナライズ化とパフォーマンスの向上を図れるか。

主な発見

• オフラインの順序選択最適化問題は、メッセージ報酬と放棄確率の比に基づく貪欲アルゴリズムを用いることで、多項式時間内に効率的に解ける。
• 提案されたオンラインアルゴリズムは、$O(N\backslashsqrt{T\log T})$ のレグレットバウンドを達成しており、これは非線形であり、時間の経過とともに近似的に最適な性能に収束することを示している。
• 非文脈的実験では、提案アルゴリズムは探索後に活用する両ベンチマークを著しく上回り、特に探索中に学習を行うBenchmark-2は、標準的な探索手法よりも性能が向上していた。
• 文脈的設定では、GLM-UCBに基づくアルゴリズムが、ベースライン手法と比較して優れたレグレット性能を示した。
• モデルは、シーケンスの後半に配置されたメッセージは、フィードバックが遮断されるため、学習が遅くなる傾向があることを明らかにした。
• 実験結果から、アルゴリズムがフィードバックが不完全であっても、メッセージ価値と放棄分布の両方を効果的に学習できることを示した。