[论文解读] Adversary A3C for Robust Reinforcement Learning

Zhaoyuan Gu, Zhenzhong Jia+1 more|arXiv (Cornell University)|Dec 1, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用 20

一句话总结

本文提出对抗鲁棒A3C（AR-A3C），一种增强版A3C强化学习算法，通过整合对抗训练提升对对抗扰动的鲁棒性。通过在训练过程中引入生成扰动的对抗智能体，AR-A3C学习到对噪声具有鲁棒性的策略，在仿真和真实世界摆锤实验中，无论在干净环境还是噪声环境下，其表现均优于标准A3C。

ABSTRACT

Asynchronous Advantage Actor Critic (A3C) is an effective Reinforcement Learning (RL) algorithm for a wide range of tasks, such as Atari games and robot control. The agent learns policies and value function through trial-and-error interactions with the environment until converging to an optimal policy. Robustness and stability are critical in RL; however, neural network can be vulnerable to noise from unexpected sources and is not likely to withstand very slight disturbances. We note that agents generated from mild environment using A3C are not able to handle challenging environments. Learning from adversarial examples, we proposed an algorithm called Adversary Robust A3C (AR-A3C) to improve the agent's performance under noisy environments. In this algorithm, an adversarial agent is introduced to the learning process to make it more robust against adversarial disturbances, thereby making it more adaptive to noisy environments. Both simulations and real-world experiments are carried out to illustrate the stability of the proposed algorithm. The AR-A3C algorithm outperforms A3C in both clean and noisy environments.

研究动机与目标

• 解决深度强化学习策略在真实世界和仿真环境中对微小对抗扰动的脆弱性问题。
• 在不损害干净环境中性能的前提下，提升A3C算法的鲁棒性。
• 开发一种硬件平台，支持对真实世界策略评估的自动化对抗训练。
• 证明从仿真到物理机器人系统的鲁棒策略迁移的可行性。
• 通过渐进式噪声水平训练和外部力施加，量化鲁棒性的程度。

提出的方法

• 在训练期间引入一个对抗智能体，向环境生成扰动以模拟极端干扰。
• 修改A3C框架，将对抗样本引入经验回放缓冲区，使策略能够从导致失败的情境中学习。
• 采用双流训练机制，主智能体从干净和对抗性转换中同时学习。
• 实现一个基于硬件的摆锤装置，支持连续、自动化的对抗训练及实时力施加。
• 采用渐进式训练策略，使噪声强度随时间逐步增加，以模拟逐步升级的挑战。
• 利用领域随机化和对抗性数据增强，提升策略在不同环境中的泛化能力。

实验结果

研究问题

• RQ1 对抗训练是否能显著提升A3C策略在噪声或扰动环境下的鲁棒性？
• RQ2 在训练中引入对抗样本是否能提升策略在仿真和真实世界设置下的泛化能力？
• RQ3 在仿真中训练的鲁棒策略在多大程度上可成功迁移到物理机器人系统？
• RQ4 在对抗攻击下，AR-A3C与标准A3C在累积奖励稳定性方面的表现如何比较？
• RQ5 渐进式噪声水平训练是否有助于智能体发展对逐渐增强的干扰水平具有可量化的鲁棒性？

主要发现

• 在对抗攻击下，AR-A3C在累积奖励方面显著优于标准A3C，且性能下降极小。
• 在仿真中，AR-A3C在遭受强对抗扰动时仍保持稳定性能，而A3C的累积奖励急剧下降。
• 真实世界摆锤实验表明，AR-A3C能有效抵御外部钝力冲击和环境噪声，展现出实际鲁棒性。
• 鲁棒策略的仿真到现实世界迁移是可行的，物理智能体的性能与仿真版本相当。
• 渐进式对抗训练使策略能够适应逐渐增强的干扰水平，表明这是一种可扩展的鲁棒性评估方法。
• 所开发的硬件平台成功支持自动化对抗训练，实现了可重复且可扩展的鲁棒性评估。