[论文解读] Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning

Chao-Han Huck Yang, Jun Qi+5 more|arXiv (Cornell University)|Feb 20, 2020

Adversarial Robustness in Machine Learning参考文献 24被引用 25

一句话总结

该论文提出了一种针对深度强化学习（DRL）导航系统的增强型对抗性策略性定时攻击，通过在选定的时间帧注入物理噪声实现。该研究提出了一种基于加权多数在线学习的白盒攻击方法，用于动态决策攻击时机，以及一种基于策略梯度的模仿学习黑盒攻击方法，两种方法在三种3D环境（机械臂控制、香蕉收集、自动驾驶汽车）中均显著降低了DRL性能，适用于零输出、高斯噪声和FGSM对抗性噪声模式。

ABSTRACT

Recent deep neural networks based techniques, especially those equipped with the ability of self-adaptation in the system level such as deep reinforcement learning (DRL), are shown to possess many advantages of optimizing robot learning systems (e.g., autonomous navigation and continuous robot arm control.) However, the learning-based systems and the associated models may be threatened by the risks of intentionally adaptive (e.g., noisy sensor confusion) and adversarial perturbations from real-world scenarios. In this paper, we introduce timing-based adversarial strategies against a DRL-based navigation system by jamming in physical noise patterns on the selected time frames. To study the vulnerability of learning-based navigation systems, we propose two adversarial agent models: one refers to online learning; another one is based on evolutionary learning. Besides, three open-source robot learning and navigation control environments are employed to study the vulnerability under adversarial timing attacks. Our experimental results show that the adversarial timing attacks can lead to a significant performance drop, and also suggest the necessity of enhancing the robustness of robot learning systems.

研究动机与目标

• 研究基于时间的对抗性攻击对DRL导航系统脆弱性的影响。
• 开发一种基于加权多数在线学习算法的白盒攻击策略，以实现最优攻击时机选择。
• 设计一种无需模型访问的黑盒攻击方法，通过模仿目标策略实现攻击。
• 评估DRL智能体在真实3D环境中面对不同噪声模式（零输出、高斯噪声、FGSM）时的鲁棒性。
• 证明基于值函数（DQN）和基于策略（A3C）的DRL模型均对这类攻击高度敏感。

提出的方法

• 提出一种带噪声观测框架：noisy_st = st + noise(t)，其中噪声(t)在选定的时间步注入。
• 定义三种噪声类型：T1（脉冲式零输出）、T2（高斯传感器融合噪声）、T3（在ℓ∞-范数约束下生成的FGSM对抗性模式）。
• 开发一种基于加权多数算法（WMA）的白盒攻击方法，通过估计潜在能量并基于动作成本差异选择攻击时机。
• 提出一种基于PEPG-ASA的黑盒攻击方法，攻击者通过逆强化学习训练策略智能体以模仿目标行为。
• 利用对数概率采样进行梯度估计以优化攻击策略：∇ρE(ρ) ≈ 1/N Σ ∇ρ log p(θ|ρ)r(hn)。
• 采用三个开源Unity-3D环境：Env1（连续机械臂）、Env2（香蕉收集器）、Env3（Donkey Car自动驾驶模拟）。

实验结果

研究问题

• RQ1 策略性定时的对抗性攻击是否能显著降低基于DRL的导航系统性能？
• RQ2 与基线随机或先前方法相比，基于加权多数在线学习的白盒攻击在时机选择方面效果如何？
• RQ3 黑盒攻击者是否能通过学习动作和奖励，在不访问模型参数的情况下成功破坏DRL智能体？
• RQ4 不同噪声模式（零输出、高斯噪声、FGSM）对连续控制与导航任务中DRL智能体鲁棒性的影响如何？
• RQ5 在真实3D环境中，DQN与A3C智能体在这些基于时间的攻击下失败的程度如何？

主要发现

• WMA白盒攻击在Env1（DQN）中使平均回报降低高达86%，在Env2（A3C）中降低89%，回报从约30降至约3。
• 黑盒PEPG-ASA攻击达到类似降级效果，在Env2（DQN）中使回报从约12降至约5，在Env3（A3C）中从约1.1降至约0.6。
• 即使在相同噪声模式（如FGSM）下，基于时间的攻击也显著优于随机干扰，后者仅使回报降低约20%。
• Lin et al. [16] 的基线方法与PEPG-ASA性能相近，但WMA在白盒与黑盒设置中均表现更优。
• 所有攻击均在DQN与A3C智能体上造成一致的性能下降，表明基于值函数与基于策略的DRL均存在广泛脆弱性。
• 结果表明，DRL智能体对对抗性时间攻击极为敏感，即使噪声仅限于少数帧，也凸显了构建鲁棒防御机制的必要性。