[论文解读] Adversarial Attacks on Adversarial Bandits

Yuzhe Ma, Zhijin Zhou|arXiv (Cornell University)|Jan 30, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用 3

一句话总结

本论文提出了一种针对无遗憾对抗性 bandit 算法的对抗性攻击，通过扰动损失信号，仅以 $o(T)$ 的累积攻击成本，在 $T-o(T)$ 轮内强制选择目标次优臂。该攻击具有受害者无关性，仅需了解遗憾率，且为渐近最优，如通过匹配的下界证明所示。

ABSTRACT

We study a security threat to adversarial multi-armed bandits, in which an attacker perturbs the loss or reward signal to control the behavior of the victim bandit player. We show that the attacker is able to mislead any no-regret adversarial bandit algorithm into selecting a suboptimal target arm in every but sublinear (T-o(T)) number of rounds, while incurring only sublinear (o(T)) cumulative attack cost. This result implies critical security concern in real-world bandit-based systems, e.g., in online recommendation, an attacker might be able to hijack the recommender system and promote a desired product. Our proposed attack algorithms require knowledge of only the regret rate, thus are agnostic to the concrete bandit algorithm employed by the victim player. We also derived a theoretical lower bound on the cumulative attack cost that any victim-agnostic attack algorithm must incur. The lower bound matches the upper bound achieved by our attack, which shows that our attack is asymptotically optimal.

研究动机与目标

• 研究攻击者通过污染奖励（损失）信号，对对抗性 bandit 算法的脆弱性。
• 设计一种受害者无关的攻击，操纵任意无遗憾 bandit 算法选择特定次优臂。
• 建立实现此类操纵所需的最小累积攻击成本的理论边界。
• 评估该攻击在标准 bandit 算法和鲁棒 bandit 算法（如 Exp3 和 ExpRb）上的有效性。

提出的方法

• 攻击在每轮中扰动损失信号，误导 bandit 玩家偏好目标臂，而无需了解内部算法细节。
• 攻击策略设计为在保持受害者次线性遗憾的同时，确保目标臂在 $T-o(T)$ 轮中被选择。
• 通过基于已知遗憾率 $O(T^\alpha)$ 精确控制扰动的幅度和时机，将攻击成本保持在 $o(T)$。
• 推导出累积攻击成本的理论下界，表明任何受害者无关的攻击都无法以更低的成本实现 $T-o(T)$ 的目标臂选择。
• 在 Exp3 和鲁棒的 ExpRb 算法上，针对不同攻击者预算进行实验评估。

(a) $T-N_{T}(a^{\dagger})$ of ( 5 ).

实验结果

研究问题

• RQ1 攻击者能否操纵任意无遗憾对抗性 bandit 算法，使其在大多数轮次中选择特定次优臂？
• RQ2 在所有受害者无关攻击中，实现 $T-o(T)$ 目标臂选择所需的最小累积攻击成本是多少？
• RQ3 该攻击在如 ExpRb 这类设计用于抵抗奖励污染的鲁棒 bandit 算法上的表现如何？
• RQ4 所提出的攻击在攻击成本方面是否渐近最优？

主要发现

• 该攻击成功迫使任意无遗憾对抗性 bandit 算法在 $T-o(T)$ 轮中选择目标臂，同时仅产生 $o(T)$ 的累积攻击成本。
• 该攻击为渐近最优，因为推导出的攻击成本下界与所提方法实现的上界完全匹配。
• 实验结果表明，该攻击在标准 Exp3 和鲁棒的 ExpRb 算法上均保持有效，攻击成本分别为 $1.40\times10^5$、$3.62\times10^5$ 和 $5.15\times10^5$，对应攻击者预算 $\Phi = T^{0.5}, T^{0.7}, T^{0.9}$。
• 每轮攻击成本分别为 $0.14$、$0.36$ 和 $0.51$，随假设的攻击者预算增加而上升，表明 ExpRb 在更大预算下具有更高的鲁棒性。
• 即使受害者使用如 ExpRb 这类假设固定攻击者预算的鲁棒算法，该攻击仍有效，表明现有防御措施可能不足以应对自适应、受害者无关的攻击。

(b) $C_{T}$ of ( 5 ).