[论文解读] Adaptive Reward-Poisoning Attacks against Reinforcement Learning

Xuezhou Zhang, Yuzhe Ma+2 more|arXiv (Cornell University)|Mar 27, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用 34

一句话总结

本文形式化了对强化学习的奖励中毒攻击，证明在L-无穷扰动下何时此类攻击可行或不可行，并引入在多项式时间内实现目标策略的快速自适应攻击，以及基于深度强化学习的经验性攻击方法。

ABSTRACT

In reward-poisoning attacks against reinforcement learning (RL), an attacker can perturb the environment reward $r_t$ into $r_t+δ_t$ at each step, with the goal of forcing the RL agent to learn a nefarious policy. We categorize such attacks by the infinity-norm constraint on $δ_t$: We provide a lower threshold below which reward-poisoning attack is infeasible and RL is certified to be safe; we provide a corresponding upper threshold above which the attack is feasible. Feasible attacks can be further categorized as non-adaptive where $δ_t$ depends only on $(s_t,a_t, s_{t+1})$, or adaptive where $δ_t$ depends further on the RL agent's learning process at time $t$. Non-adaptive attacks have been the focus of prior works. However, we show that under mild conditions, adaptive attacks can achieve the nefarious policy in steps polynomial in state-space size $|S|$, whereas non-adaptive attacks require exponential steps. We provide a constructive proof that a Fast Adaptive Attack strategy achieves the polynomial rate. Finally, we show that empirically an attacker can find effective reward-poisoning attacks using state-of-the-art deep RL techniques.

研究动机与目标

• 动机：研究在强化学习中训练阶段的奖励中毒，当奖励被攻击者扰动时。
• 在扰动满足无穷范数约束下，刻画奖励中毒的可行性区间。
• 开发非自适应和快速自适应攻击策略，并给出其代价界。
• 提供经验证据，表明攻击者可以使用深度强化学习技术找到有效的奖励中毒攻击。

提出的方法

• 将攻击建模为环境MDP、使用Q-learning的学习代理以及对 rewards 具有有界扰动 delta_t 的攻击者之间的推断。
• 定义目标策略集合 pi^dagger 及相应的目标Q表集合 Q^dagger，以形式化攻击目标。
• 证明在攻击下的Q-learning 有界性结果，并推导非自适应攻击的不可行性证书(Delta_1 与 Delta_2) 和可行性证书(Delta_3)。
• 引入使用 Q_t 并导航到目标状态的快速自适应攻击(FAA)，在某些稀疏性和 Delta 条件下实现多项式时间的攻击成本。
• 给出自适应攻击策略 phi^xi_FAA 并分析其成本界（定理5）以及对网格状环境的推论。
• 通过强化学习实验从经验上证明自适应攻击优于非自适应攻击，且深度强化学习（基于TD3）能够发现有效的攻击策略。

实验结果

研究问题

• RQ1 在何种无穷范数奖励扰动量 Delta 下，奖励中毒在强制目标策略方面是可行还是不可行？
• RQ2 非自适应与自适应攻击策略在实施 pi^dagger 的攻击成本和所需时间方面有何比较？
• RQ3 自适应攻击是否能实现对目标策略的多项式时间强制执行，需满足哪些结构假设（如目标状态的稀疏性）？
• RQ4 数据驱动方法（如深度强化学习）是否能发现超越解析构造攻击的有效奖励中毒策略？
• RQ5 在奖励中毒下，哪些鲁棒性证书可以证明安全的强化学习行为？

主要发现

• 存在 Delta 阈值（Delta_1、Delta_2），在其以下时，强化学习智能体保持安全并最终收敛到最优策略。
• 存在更高的阈值 Delta_3，超过该阈值时非自适应攻击可以可行地强制目标策略，攻击成本上界为 O(L^5)（L 为覆盖数）。
• 快速自适应攻击(FAA)在目标状态稀疏时实现目标策略的多项式时间强制，成本界大致随状态空间大小 |S| 等因素多项式级别增长。
• 实验表明自适应攻击(FAA)在效率上显著优于非自适应攻击，且深度强化学习（TD3）能够发现有效的攻击策略。
• 关于链式MDP和网格世界的实证结果显示，自适应方法的攻击成本为多项式时间，而非自适应方法呈指数级扩展。