[论文解读] Targeted Attacks on Deep Reinforcement Learning Agents through Adversarial Observations.

Léonard Hussenot, Matthieu Geist+1 more|arXiv (Cornell University)|May 29, 2019

Adversarial Robustness in Machine Learning参考文献 4被引用 9

一句话总结

本文提出了CopyCAT，一种针对性的对抗性攻击方法，通过修改深度强化学习智能体的观测而非其内部状态来操纵智能体。该攻击预先计算，高效且在攻击者无法直接修改智能体环境表征的只读设置下表现有效，成功诱导智能体在Atari 2600游戏中遵循外部策略。

ABSTRACT

We propose a new perspective on adversarial attacks against deep reinforcement learning agents. Our main contribution is CopyCAT, a targeted attack able to consistently lure an agent into following an outsider's policy. It is pre-computed, therefore fast inferred, and could thus be usable in a real-time scenario. We show its effectiveness on Atari 2600 games in the novel read-only setting. In this setting, the adversary cannot directly modify the agent's state -- its representation of the environment -- but can only attack the agent's observation -- its perception of the environment. Directly modifying the agent's state would require a write-access to the agent's inner workings and we argue that this assumption is too strong in realistic settings.

研究动机与目标

• 为了解决现有对抗性攻击需要写入访问智能体内部状态的局限性，这在现实场景中并不现实。
• 开发一种仅作用于智能体观测（即其对环境的感知）的攻击，而不修改其内部表征。
• 实现能够引导智能体遵循特定外部策略的针对性攻击，即使在严格约束条件下亦可实现。
• 设计一种高效、预先计算的攻击，适用于动态环境中实时部署。

提出的方法

• 通过优化能够引导智能体策略向目标行为靠拢的扰动，构建对抗性观测。
• 利用预先计算的攻击映射，编码每个状态下的最优扰动，从而在部署时实现快速推理。
• 该方法在只读设置下运行，攻击者无法修改智能体的内部状态或策略参数。
• 使用可微分的环境模型，模拟扰动如何影响智能体策略动态。
• 将攻击形式化为一个针对性的优化问题，最小化智能体行为与目标策略之间的差异。
• 在仅可观测流可被操纵的现实场景中进行评估，模拟真实世界的感知干扰。

实验结果

研究问题

• RQ1 当攻击者被限制仅能修改智能体的观测而非其内部状态时，对抗性攻击是否仍有效？
• RQ2 是否可能设计一种预先计算、推理快速的攻击，使其在只读设置下始终能引导智能体向目标策略靠拢？
• RQ3 此类攻击在复杂、高维环境（如Atari 2600游戏）中的有效性如何？
• RQ4 与修改状态相比，通过扰动观测实现攻击时，其隐蔽性与成功率之间的权衡如何？

主要发现

• CopyCAT在只读设置下成功引导深度强化学习智能体在Atari 2600游戏中遵循目标策略，且禁止修改内部状态。
• 该攻击在目标策略模仿任务中实现了高成功率，展示了在多个游戏中的一致性能表现。
• 由于其预先计算的特性，推理速度快，适用于实时应用。
• 即使攻击者无法直接访问或修改智能体的内部状态或策略参数，该方法依然有效。