[论文解读] Provably Efficient Black-Box Action Poisoning Attacks Against Reinforcement Learning

Guanlin Liu, Lifeng Lai|arXiv (Cornell University)|Oct 9, 2021

Adversarial Robustness in Machine Learning参考文献 51被引用 13

一句话总结

本文提出强化学习中的动作中毒攻击，其中攻击者通过操纵智能体的动作来强制执行目标策略。提出LCB-H黑盒攻击策略，证明其可在攻击者对环境或智能体算法一无所知的情况下，以次线性代价和损失，强制任何高效强化学习智能体遵循攻击者的目标策略。

ABSTRACT

Due to the broad range of applications of reinforcement learning (RL), understanding the effects of adversarial attacks against RL model is essential for the safe applications of this model. Prior theoretical works on adversarial attacks against RL mainly focus on either observation poisoning attacks or environment poisoning attacks. In this paper, we introduce a new class of attacks named action poisoning attacks, where an adversary can change the action signal selected by the agent. Compared with existing attack models, the attacker's ability in the proposed action poisoning attack model is more restricted, which brings some design challenges. We study the action poisoning attack in both white-box and black-box settings. We introduce an adaptive attack scheme called LCB-H, which works for most RL agents in the black-box setting. We prove that the LCB-H attack can force any efficient RL agent, whose dynamic regret scales sublinearly with the total number of steps taken, to choose actions according to a policy selected by the attacker very frequently, with only sublinear cost. In addition, we apply LCB-H attack against a popular model-free RL algorithm: UCB-H. We show that, even in the black-box setting, by spending only logarithm cost, the proposed LCB-H attack scheme can force the UCB-H agent to choose actions according to the policy selected by the attacker very frequently.

研究动机与目标

• 探究在强化学习中动作中毒攻击的可行性与影响，其中攻击者操纵智能体的动作而非观测值或环境动态。
• 解决在攻击者能力受限的挑战，特别是在无法访问智能体内部模型或环境结构的黑盒设置下设计有效攻击。
• 开发一种可证明高效的黑盒攻击策略，以最小化代价（动作操纵次数）和损失（与目标策略的偏离次数）。
• 证明即使信息有限，攻击者也能以次线性代价和损失迫使强化学习智能体采用期望策略，确保实际可行性。

提出的方法

• 提出一种新型攻击模型——动作中毒，其中攻击者实时修改智能体所选动作，旨在引导智能体朝向预设目标策略。
• 引入LCB-H攻击策略，一种基于上置信度（UCB）原理的黑盒方法，用于估计动作质量，并以最小代价选择性地操纵动作。
• 采用代价-损失权衡框架，其中代价为动作更改次数，损失为智能体偏离目标策略的次数。
• 基于动态遗憾和次线性缩放的理论分析，证明LCB-H对任意动态遗憾随步数次线性增长的高效强化学习智能体，均可实现次线性代价与损失。
• 将LCB-H策略应用于UCB-H算法，表明仅需对数级代价即可强制智能体遵循目标策略。
• 采用概率集中不等式与遗憾分解技术，推导出损失与代价的上界，确保在不确定性下的理论保证。

实验结果

研究问题

• RQ1 在无环境或智能体算法先验知识的黑盒设置下，攻击者能否有效操纵强化学习智能体的动作，以强制执行目标策略？
• RQ2 动作中毒攻击的理论代价与损失权衡如何？能否在两项指标上均实现次线性缩放？
• RQ3 与白盒攻击方法相比，LCB-H攻击策略在性能与效率方面表现如何？
• RQ4 能否证明LCB-H攻击对特定无模型强化学习算法（如UCB-H）具有可证明的保证？
• RQ5 当动作空间为离散且有限时，动作中毒攻击的根本限制是什么？

主要发现

• LCB-H黑盒攻击策略对任意动态遗憾随步数次线性增长的高效强化学习智能体，均实现次线性代价与次线性损失。
• 对于UCB-H算法，LCB-H攻击仅需对数级代价即可强制智能体遵循攻击者的目标策略，展现出高效率。
• 理论分析证明，LCB-H攻击的损失与代价均以 O(H^5 log(2H/p) + 1/Δ_min SAH^4 + 1/Δ_min^2 H^10 SAι) 的形式增长，确认其为次线性增长。
• 即使无法访问智能体策略、环境动态或内部模型，该攻击仍可被证明有效，使其适用于现实中的黑盒场景。
• LCB-H策略的性能几乎与白盒α-部分攻击相当，验证了其在信息受限条件下的有效性。
• 本研究确立了动作中毒攻击是强化学习中一种可行且具有强大威胁的攻击向量，即使攻击者能力受限亦然。