[论文解读] Dynamic Learning of Sequential Choice Bandit Problem under Marketing Fatigue

Junyu Cao, Wei Sun|arXiv (Cornell University)|Mar 19, 2019

Advanced Bandit Algorithms Research参考文献 22被引用 5

一句话总结

本文提出了顺序选择多臂赌博机（SC-Bandit）问题，以建模顺序消息推送中的营销疲劳现象，其中用户在接收到消息后可选择接受、跳过或放弃。作者提出一种动态学习算法，平衡探索与利用，实现 $O(Nar{T}ar{ ext{log}} T)$ 的遗憾界，并通过广义线性模型-上限置信区间（GLM-UCB）方法扩展模型，以融入用户上下文实现个性化。

ABSTRACT

Motivated by the observation that overexposure to unwanted marketing activities leads to customer dissatisfaction, we consider a setting where a platform offers a sequence of messages to its users and is penalized when users abandon the platform due to marketing fatigue. We propose a novel sequential choice model to capture multiple interactions taking place between the platform and its user: Upon receiving a message, a user decides on one of the three actions: accept the message, skip and receive the next message, or abandon the platform. Based on user feedback, the platform dynamically learns users' abandonment distribution and their valuations of messages to determine the length of the sequence and the order of the messages, while maximizing the cumulative payoff over a horizon of length T. We refer to this online learning task as the sequential choice bandit problem. For the offline combinatorial optimization problem, we show that an efficient polynomial-time algorithm exists. For the online problem, we propose an algorithm that balances exploration and exploitation, and characterize its regret bound. Lastly, we demonstrate how to extend the model with user contexts to incorporate personalization.

研究动机与目标

• 解决顺序数字消息推送中的营销疲劳挑战，其中过多消息会导致用户放弃及平台处罚。
• 将用户行为建模为具有三种动作的顺序选择过程：接受、跳过或放弃，以反映现实中的参与动态。
• 设计一种在线学习框架，联合学习消息价值与放弃分布，以随时间最大化累积收益。
• 设计一种高效的离线优化算法，实现最优消息序列的可计算性。
• 将模型扩展以融入用户特定上下文，实现个性化消息排序并提升参与度。

提出的方法

• 提出一种新颖的顺序选择模型，用户在每条消息后做出决策（接受、跳过、放弃），并考虑奖励与放弃惩罚。
• 将离线问题形式化为组合优化任务，并证明其可通过基于消息价值与放弃概率之比的贪心算法在多项式时间内求解。
• 设计一种在线探索-利用算法，平衡在序列中对消息价值与放弃概率的学习。
• 为在线算法推导出 $O(N\sqrt{T\log T})$ 的遗憾界，其中 $N$ 为消息数量，$T$ 为时间范围。
• 提出一种基于 GLM-UCB 的算法，用于上下文 SC-Bandit 问题，将消息价值与放弃行为建模为用户特征的函数。
• 通过合成实验将所提算法与“探索后利用”基准进行比较，证明其在非上下文与上下文设置下均表现更优。

实验结果

研究问题

• RQ1 当用户可能因营销疲劳而放弃时，平台如何最优地排序消息以最大化累积收益？
• RQ2 在顺序选择与放弃条件下，离线最优序列选择问题的计算复杂度如何？
• RQ3 当反馈因用户放弃而被截断时，在线学习算法能否有效平衡探索与利用？
• RQ4 在顺序选择赌博机设置下，能否为在线学习建立理论遗憾界？
• RQ5 如何将用户特定上下文融入消息排序策略中，以提升个性化与性能？

主要发现

• 离线顺序选择优化问题可通过基于消息奖励与放弃概率之比的贪心算法高效求解，时间复杂度为多项式时间。
• 所提在线算法实现 $O(N\sqrt{T\log T})$ 的遗憾界，该界为次线性，表明随时间推移性能趋近于近似最优。
• 在非上下文实验中，所提算法显著优于两种“探索后利用”基准，其中 Benchmark-2（在探索期间学习）相比标准探索方法表现更优。
• 在上下文设置下，基于 GLM-UCB 的个性化消息排序算法在遗憾性能上优于基线方法。
• 模型揭示，序列后半部分的消息更难学习，因反馈被截断，导致其真实价值估计速度变慢。
• 实证结果表明，即使反馈因早期放弃而不完整，该算法仍能有效学习消息价值与放弃分布。