[论文解读] Rebounding Bandits for Modeling Satiation Effects

Liu Leqi, Fatma Kılınç-Karzan+2 more|arXiv (Cornell University)|Nov 13, 2020

Advanced Bandit Algorithms Research参考文献 44被引用 9

一句话总结

本文提出了反弹老虎机（rebounding bandits）框架，这是一种多臂老虎机模型，通过时间不变的线性动态系统来建模用户的满足感与奖励反弹效应，其中重复拉动同一臂会导致奖励下降，而当臂长时间未被选择时奖励会恢复。所提出的探索-估计-规划（Explore-Estimate-Plan, EEP）算法通过系统性探索、动态估计和基于学习参数的规划，实现了次线性 w-步前瞻遗憾。

ABSTRACT

Psychological research shows that enjoyment of many goods is subject to satiation, with short-term satisfaction declining after repeated exposures to the same item. Nevertheless, proposed algorithms for powering recommender systems seldom model these dynamics, instead proceeding as though user preferences were fixed in time. In this work, we introduce rebounding bandits, a multi-armed bandit setup, where satiation dynamics are modeled as time-invariant linear dynamical systems. Expected rewards for each arm decline monotonically with consecutive exposures to it and rebound towards the initial reward whenever that arm is not pulled. Unlike classical bandit settings, methods for tackling rebounding bandits must plan ahead and model-based methods rely on estimating the parameters of the satiation dynamics. We characterize the planning problem, showing that the greedy policy is optimal when the arms exhibit identical deterministic dynamics. To address stochastic satiation dynamics with unknown parameters, we propose Explore-Estimate-Plan (EEP), an algorithm that pulls arms methodically, estimates the system dynamics, and then plans accordingly.

研究动机与目标

• 为解决推荐系统中因满足感效应而无法有效建模用户动态偏好的问题。
• 在多臂老虎机设置中，将满足感形式化为时间不变的线性动态系统。
• 开发一种能够前瞻规划并适应因重复暴露导致的奖励动态变化的方法。
• 为未知随机满足感动态系统的遗憾和参数估计提供理论保证。
• 通过实证评估证明所提算法的有效性。

提出的方法

• 提出反弹老虎机框架，其中每个臂的奖励根据连续拉动次数和上次拉动以来的时间，以线性动态系统演化。
• 将满足感建模为确定性或随机的线性系统，表现为重复拉动后奖励下降，闲置时发生恢复。
• 引入探索-估计-规划（Explore-Estimate-Plan, EEP）算法，首先探索每个臂以收集数据，然后估计动态，最后使用学习到的模型进行规划。
• 利用单一轨迹估计仿射动态系统，为参数识别提供样本复杂度边界。
• 在状态空间随时间跨度 T 指数级增长的马尔可夫决策过程（MDP）中实施 w-步前瞻规划。
• 通过奖励模型和转移模型估计误差项来界定遗憾，证明了次线性 w-步前瞻遗憾。

实验结果

研究问题

• RQ1 多臂老虎机框架能否有效建模用户满足感及长期不活跃后的奖励反弹？
• RQ2 当各臂具有相同确定性满足动态时，贪婪策略是否最优？
• RQ3 能否从单一交互轨迹中准确估计未知的随机满足动态？
• RQ4 在未知动态条件下，EEP 算法是否能实现次线性遗憾？
• RQ5 前瞻规划相较于贪婪策略或无规划策略，能否显著提升性能？

主要发现

• 当所有臂具有相同确定性满足动态时，贪婪策略是最优的，因为最优策略是按固定顺序循环使用各臂。
• EEP 算法实现了次线性 w-步前瞻遗憾，当估计误差满足适当条件时，遗憾上界为 O(T²/√n)。
• 仿射动态系统的估计器实现了与观测次数和系统维度成比例的样本复杂度边界。
• 实验表明，即使计算时间显著减少，w-步前瞻策略的累积期望奖励与 T-步前瞻策略相当。
• 当在 24 小时内求解时，T-步前瞻策略的最优性差距上界为 13.0%（绝对差距为 64.0），表明其具有出色的实用性能。
• 对数-对数尺度的遗憾图显示，EEP 的 w-步前瞻遗憾随时间跨度 T 呈次线性增长，验证了理论遗憾边界。