[论文解读] Amélioration de la Robustesse d'Agents Entraîné par Renforcement Profond : Attaque de l'Environnement basée sur le Réseau Critique.

Lucas Schott, Hatem Hajri+1 more|arXiv (Cornell University)|Apr 7, 2021

Adversarial Robustness in Machine Learning参考文献 18被引用 3

一句话总结

该论文提出EACN，一种通过直接对评论家网络应用基于梯度的对抗攻击来生成动态环境扰动，从而增强深度强化学习智能体鲁棒性的新方法。与需要昂贵训练对抗智能体的先前方法不同，EACN利用评论家的价值函数梯度生成长期、有意义的扰动，实现比SOTA方法（包括FSP和RARL）更优的鲁棒性，且收敛更快、性能更佳，甚至超越在目标环境中训练的智能体。

ABSTRACT

International audience

研究动机与目标

• 为解决强化学习中的现实差距问题，提升智能体对环境扰动的鲁棒性。
• 克服训练独立对抗智能体在对抗强化学习中带来的不稳定性与高计算成本。
• 开发一种更高效、更有效的动态、长期环境扰动生成方法，以挑战智能体策略。
• 证明通过评论家网络攻击环境可实现比攻击观测空间或依赖独立对抗训练更优的鲁棒性。

提出的方法

• 对评论家网络的价值函数应用基于梯度的对抗攻击，以在环境状态动态中生成扰动。
• 利用评论家网络对状态的梯度，识别影响累积回报的高影响力、长期扰动。
• 在训练过程中动态注入这些对抗性扰动，以课程学习方式逐步提升任务难度。
• 通过在策略和价值网络推理前修改状态输入，将攻击集成到PPO算法中，而不改变主训练循环。
• 避免训练独立的对抗智能体，相比FSP或RARL等方法，显著降低复杂度与训练不稳定性。
• 利用评论家对未来价值的了解，构建不仅即时且具有长期负面影响的扰动。

实验结果

研究问题

• RQ1 应用于评论家网络的对抗攻击是否能生成比训练独立对抗智能体更有效、更鲁棒的环境扰动？
• RQ2 通过评论家梯度攻击环境动态是否能实现比观测空间攻击或专用对抗智能体训练更快的收敛速度和更优的鲁棒性？
• RQ3 基于评论家引导的攻击方法是否能超越在实际目标环境中训练的智能体，尤其是在训练期间目标环境不可用的情况下？
• RQ4 由评论家驱动的、逐步增加复杂度的扰动课程，如何影响最终策略在不同环境复杂度下的鲁棒性？

主要发现

• EACN训练的智能体收敛速度优于FSP和RARL，其中FSP曲线因对抗智能体训练延迟而直到200万步才趋于平缓。
• 在HighwayEnv中，随着交通密度增加，EACN优于FSP和基线智能体，甚至在高密度下达到或超过目标智能体性能。
• 在FlappyBird中，EACN智能体在最具挑战性的间隙大小（100）下显著优于所有基线智能体，包括目标智能体，展现出更优的鲁棒性。
• EACN在计算成本更低的前提下，实现了优于FSP和RARL的鲁棒性，因为它避免了训练独立的对抗网络。
• 该方法成功通过基于评论家梯度操纵智能体状态，构建了动态的、难度递增的课程，提升了策略泛化能力。
• 尽管训练期间目标环境不可用，EACN的性能仍与在实际目标环境（如HighwayEnv密度2.0）中训练的智能体相当。