[论文解读] Adversarial Attacks on Linear Contextual Bandits

Evrard Garcelon, Baptiste Rozière+5 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Bandit Algorithms Research参考文献 38被引用 18

一句话总结

本文提出针对线性上下文Bandit算法的对抗性攻击，通过操纵奖励或上下文，迫使算法频繁选择目标臂。研究表明，攻击者仅需对数累积成本即可实现对目标臂的近似最优拉动，并且即使仅修改单个用户的上下文或仅修改奖励，也能实现有效攻击。

ABSTRACT

Contextual bandit algorithms are applied in a wide range of domains, from advertising to recommender systems, from clinical trials to education. In many of these domains, malicious agents may have incentives to attack the bandit algorithm to induce it to perform a desired behavior. For instance, an unscrupulous ad publisher may try to increase their own revenue at the expense of the advertisers; a seller may want to increase the exposure of their products, or thwart a competitor's advertising campaign. In this paper, we study several attack scenarios and show that a malicious agent can force a linear contextual bandit algorithm to pull any desired arm $T - o(T)$ times over a horizon of $T$ steps, while applying adversarial modifications to either rewards or contexts that only grow logarithmically as $O(\log T)$. We also investigate the case when a malicious agent is interested in affecting the behavior of the bandit algorithm in a single context (e.g., a specific user). We first provide sufficient conditions for the feasibility of the attack and we then propose an efficient algorithm to perform the attack. We validate our theoretical results on experiments performed on both synthetic and real-world datasets.

研究动机与目标

• 研究恶意实体如何通过奖励或上下文扰动操纵线性上下文Bandit算法，使其偏好特定臂。
• 分析当仅可修改单个用户的上下文时攻击的可行性与成本，模拟如RAT妥协等现实场景。
• 评估常见Bandit算法（LinUCB、LinTS和ε-greedy）在对抗性操纵下的鲁棒性。
• 开发具有次线性成本的高效攻击算法，同时仍能实现高成功率以强制目标臂被拉动。
• 在合成数据和真实世界数据集（如MovieLens、Jester）上实证验证理论发现。

提出的方法

• 在三种场景下形式化攻击问题：奖励操纵、所有用户上下文的操纵，以及单个目标用户上下文的操纵。
• 提出ContextualConic攻击方法，将攻击建模为凸优化问题，以最小化扰动范数，同时确保目标臂被选择。
• 引入松弛与非松弛两种攻击变体，以在可行性与成功率之间取得平衡，尤其适用于随机Bandit算法。
• 基于特征向量的几何结构和臂表示的凸包，推导攻击可行性的充分条件。
• 基于次高斯噪声假设和有界特征范数，确保攻击成本与算法行为的理论保证。
• 在合成数据和真实世界数据集（MovieLens、Jester）上实现并评估对LinUCB、LinTS和ε-greedy的攻击。

实验结果

研究问题

• RQ1 攻击者是否能在T步时间范围内，以次线性成本迫使线性上下文Bandit算法选择特定目标臂O(T)次？
• RQ2 当仅可修改单个用户的上下文时，成功基于上下文的攻击的充分条件是什么？
• RQ3 不同Bandit算法（LinUCB、LinTS、ε-greedy）在奖励与上下文对抗攻击下的性能表现如何？
• RQ4 特征向量的几何结构（如凸包）与基于上下文的攻击可行性之间存在何种关系？
• RQ5 是否可构造出累积扰动成本极低但真实世界数据集中成功率仍高的攻击？

主要发现

• 在合成数据上，ContextualConic攻击在仅O(log T)累积奖励扰动成本下，使LinUCB和LinTS在98.5%的案例中成功选择目标臂。
• 在MovieLens数据集上，攻击对LinUCB和LinTS的攻击成功率超过95%，且总攻击成本随T呈对数增长。
• 对于单上下文攻击，LinUCB和ε-greedy在所有数据集上成功率均超过90%，且非松弛攻击比松弛攻击更有效。
• Jester数据集特别易受攻击，因其特征向量高度分离——仅有5%的臂位于其他臂的凸包内，显著提升了攻击可行性。
• 出人意料的是，ε-greedy也表现出对攻击的高度敏感性，表明探索机制无法完全缓解对抗性上下文或奖励操纵。
• LinTS的攻击成本高于LinUCB，因其需确保以高概率选择目标臂，反映出其更保守的采样策略。