[论文解读] Automatic Testing With Reusable Adversarial Agents

Xin Qin, Nikos Aréchiga+2 more|arXiv (Cornell University)|Oct 30, 2019

Reinforcement Learning in Robotics参考文献 32被引用 9

一句话总结

本文提出了一种可复用的基于强化学习的框架，用于自动驾驶系统的自动对抗性测试，通过将环境建模为受约束的对抗性智能体（ado智能体）来实现。该方法使用信号时序逻辑（STL）来指定系统行为和环境约束，使训练好的对抗性策略能够在不重新训练的情况下泛化到不同自车初始条件和动力学特性上。

ABSTRACT

Autonomous systems such as self-driving cars and general-purpose robots are safety-critical systems that operate in highly uncertain and dynamic environments. We propose an interactive multi-agent framework where the system-under-design is modeled as an ego agent and its environment is modeled by a number of adversarial (ado) agents. For example, a self-driving car is an ego agent whose behavior is influenced by ado agents such as pedestrians, bicyclists, traffic lights, road geometry etc. Given a logical specification of the correct behavior of the ego agent, and a set of constraints that encode reasonable adversarial behavior, our framework reduces the adversarial testing problem to the problem of synthesizing controllers for (constrained) ado agents that cause the ego agent to violate its specifications. Specifically, we explore the use of tabular and deep reinforcement learning approaches for synthesizing adversarial agents. We show that ado agents trained in this fashion are better than traditional falsification or testing techniques because they can generalize to ego agents and environments that differ from the original ego agent. We demonstrate the efficacy of our technique on two real-world case studies from the domain of self-driving cars.

研究动机与目标

• 解决在安全关键型信息物理系统中非自适应、非泛化性测试方法的局限性。
• 实现可复用对抗性智能体的合成，使其在真实环境约束下能引发自车智能体的故障。
• 通过将规范和约束直接编码到统一奖励函数中，克服基于强化学习的 falsification（ falsification 指验证 falsification，此处译为“ falsification”）中的人工奖励工程需求。
• 证明训练好的对抗性策略能够泛化到不同的自车动力学特性与初始条件上，从而在迭代设计中减少重复测试的工作量。

提出的方法

• 将待设计系统（SUD）建模为自车智能体，其环境建模为由对抗性（ado）智能体组成的组合体，每个智能体由学习到的策略控制。
• 使用信号时序逻辑（STL）正式指定自车智能体的期望行为以及ado智能体的受约束行为（例如速度限制、交通规则）。
• 构建一个统一的奖励函数，结合STL鲁棒性以衡量规范违反与约束满足情况，从而通过深度强化学习实现端到端训练。
• 使用表格型和深度Q-learning训练ado智能体，以合成闭环、反应式的对抗性策略，从而引发自车智能体的规范违反。
• 将训练好的对抗性策略应用于新的初始条件和系统动力学，以评估其泛化能力与可复用性。
• 使用蒙特卡洛树搜索（MCTS）和值函数近似，以提升复杂场景下的探索效率与收敛性能。

实验结果

研究问题

• RQ1 通过强化学习训练的对抗性智能体是否能在不重新训练的情况下泛化到自车智能体的新初始条件和动力学特性上？
• RQ2 将基于STL的规范与约束整合到单一奖励函数中，对对抗性策略学习的性能与收敛性有何影响？
• RQ3 动态受限的对抗性智能体在发现多样化、非平凡故障场景方面，与传统falsification（falsification 指验证 falsification，此处译为“falsification”）和基于搜索的测试相比，优势有多大？
• RQ4 在安全关键型自动驾驶系统中，何种条件可实现对抗性策略在不同系统配置间的可复用性？

主要发现

• 训练好的对抗性策略可泛化到新的初始条件和系统动力学上，从而在无需重新训练的情况下复用于不同的自车智能体配置。
• 该方法成功识别出自动驾驶汽车案例研究中的故障场景，这些场景通过传统非自适应falsification（falsification 指验证 falsification，此处译为“falsification”）技术无法发现。
• 采用STL编码约束训练的对抗性智能体产生的行为更具现实性且非平凡，优于无约束或人工设计奖励的方法。
• 与基于搜索或黑箱falsification（falsification 指验证 falsification，此处译为“falsification”）的方法相比，该方法实现了更好的泛化性能，因为它学习的是反应式、闭环策略，而非固定的动作序列。
• 在训练期间未曾遇到的邻近自车与ado智能体速度及距离值附近，也发现了导致失败的初始状态，表明探索有效。
• 基于STL鲁棒性与约束的统一奖励函数消除了人工奖励工程的需求，提升了可扩展性与可维护性。