[论文解读] Gray-box Adversarial Testing for Control Systems with Machine Learning Component

Shakiba Yaghoubi, Georgios Fainekos|arXiv (Cornell University)|Dec 31, 2018

Adversarial Robustness in Machine Learning参考文献 22被引用 5

一句话总结

该论文提出了一种基于梯度的最优控制搜索的灰盒对抗性测试框架，用于具有循环神经网络（RNN）控制器的控制系统。通过利用工作点处的系统线性化，该方法高效地探索输入空间，生成能够使系统级信号时序逻辑（STL）属性失效的对抗性输入，显著优于统一随机采样和模拟退火等黑盒方法在发现反例方面的表现。

ABSTRACT

Neural Networks (NN) have been proposed in the past as an effective means for both modeling and control of systems with very complex dynamics. However, despite the extensive research, NN-based controllers have not been adopted by the industry for safety critical systems. The primary reason is that systems with learning based controllers are notoriously hard to test and verify. Even harder is the analysis of such systems against system-level specifications. In this paper, we provide a gradient based method for searching the input space of a closed-loop control system in order to find adversarial samples against some system-level requirements. Our experimental results show that combined with randomized search, our method outperforms Simulated Annealing optimization.

研究动机与目标

• 为解决具有神经网络组件的安全关键控制系统的测试与验证挑战，特别是针对具有复杂非线性动态特性的系统。
• 开发一种可扩展且高效的生成对抗性输入的方法，以违反以信号时序逻辑（STL）表达的系统级规范。
• 克服黑盒测试方法的局限性，这些方法在具有RNN的复杂控制系统中往往无法发现使系统失效的输入。
• 通过基于梯度的局部搜索，实现对RNN系统——由于其顺序性和依赖记忆的行为而此前难以分析——的失效检测。
• 将局部梯度下降与全局优化策略相结合，以提高对抗性测试生成中的收敛性和鲁棒性。

提出的方法

• 该方法利用闭环系统在工作点处的解析线性化，计算梯度下降方向，无需敏感性矩阵或数值近似。
• 将对抗性输入搜索形式化为最优控制问题，应用基于梯度的局部搜索以最小化系统对STL规范的鲁棒性。
• 该框架将局部梯度下降与全局采样器（如统一随机采样或模拟退火）相结合，以在输入空间中平衡探索与利用。
• 该方法适用于具有平滑激活函数的RNN系统，利用Simulink模型的结构实现分块线性化。
• 该方法无需完整的模型或网络架构知识，仅依赖标准模型设计工具中可用的线性化数据。
• 该方法扩展了先前工作，直接在输入函数的无穷维空间中进行搜索，而非将输入参数化为有限参数集。

实验结果

研究问题

• RQ1 基于梯度的局部搜索是否能提高具有RNN控制器的控制系统的对抗性测试生成的有效性？
• RQ2 将局部梯度下降与全局优化策略结合，与黑盒方法相比，对失效检测性能有何影响？
• RQ3 所提出的方法在复杂非线性控制系统中，能在多大程度上检测出违反系统级STL规范的对抗性输入？
• RQ4 该方法在RNN和系统模型层数及状态维度增加时，是否能有效扩展？
• RQ5 该框架是否能在传统黑盒测试方法失效的系统中成功实现失效检测？

主要发现

• 所提方法（UR+GD 和 SA+GD）在蒸汽冷凝器案例研究的全部50次运行中均成功找到了对抗性样本，而纯统一随机采样（UR）和模拟退火（SA）均未发现任何失效。
• 最小鲁棒性值的平均值分别降至 -0.0018（UR+GD）和 -0.0016（SA+GD），表明STL规范被成功违反；而UR和SA仅分别达到0.0843和0.0503。
• 平均执行时间分别减少至15.78秒（UR+GD）和13.07秒（SA+GD），低于60秒的时间限制，且平均仿真次数不足90次。
• 该方法表现出良好的可扩展性，在RNN和系统模型的层数及状态数增加时仍保持性能稳定。
• 将局部梯度下降与全局采样相结合，显著优于单独使用全局方法，证明在复杂系统中检测失效输入至关重要。
• 该框架成功将系统鲁棒性从恒定输入下的0.20633降低至最优输入下的0.00030222，证明了对抗性输入生成的有效性。