[论文解读] AutoRepair: Automated Repair for AI-Enabled Cyber-Physical Systems under Safety-Critical Conditions

Deyun Lyu, Jiayang Song+5 more|arXiv (Cornell University)|Apr 12, 2023

Smart Grid Security and Resilience被引用 4

一句话总结

该论文提出AUTOREPAIR，一种自动化的框架，用于诊断并修复在安全关键型网络物理系统（CPS）中运行的深度神经网络（DNN）控制器的不安全控制行为。通过基于优化的校正搜索和鲁棒微调，AUTOREPAIR识别出满足系统级安全需求的最小控制信号调整，成功修复了六个工业级CPS实例中的关键安全问题，并显著提升了可靠性。

ABSTRACT

Cyber-Physical Systems (CPS) have been widely deployed in safety-critical domains such as transportation, power and energy. Recently, there comes an increasing demand in employing deep neural networks (DNNs) in CPS for more intelligent control and decision making in sophisticated industrial safety-critical conditions, giving birth to the class of DNN controllers. However, due to the inherent uncertainty and opaqueness of DNNs, concerns about the safety of DNN-enabled CPS are also surging. In this work, we propose an automated framework named AutoRepair that, given a safety requirement, identifies unsafe control behavior in a DNN controller and repairs them through an optimization-based method. Having an unsafe signal of system execution, AutoRepair iteratively explores the control decision space and searches for the optimal corrections for the DNN controller in order to satisfy the safety requirements. We conduct a comprehensive evaluation of AutoRepair on 6 instances of industry-level DNN-enabled CPS from different safety-critical domains. Evaluation results show that AutoRepair successfully repairs critical safety issues in the DNN controllers, and significantly improves the reliability of CPS.

研究动机与目标

• 为应对在交通与能源等安全关键领域部署的DNN增强型网络物理系统（CPS）中日益突出的不安全行为挑战。
• 弥合检测不安全系统行为与自动修复DNN控制器之间的差距，尽管在 falsification（ falsification）与测试方面已有进展，但该问题仍研究不足。
• 开发一种通用的、自动化的修复框架，从系统层面运行，通过最优控制信号校正确保满足安全需求。

提出的方法

• 将修复问题建模为多目标优化任务，以寻找满足以信号时序逻辑（STL）表达的安全需求的最小控制信号校正。
• 通过迭代探索控制决策空间，基于不安全的系统执行轨迹搜索最优校正。
• 使用优化求解器计算使系统恢复安全的最小控制信号调整，确保修复后的系统执行满足所有指定的STL约束。
• 将修复后的控制输入输出整合进训练数据集中，用于DNN控制器的鲁棒微调。
• 在Simulink中实现该框架，支持与工业级CPS建模与仿真工作流程的兼容。
• 采用反馈机制，利用修复后的轨迹重新训练DNN，提升其在真实世界条件下的可靠性与安全性。

实验结果

研究问题

• RQ1 是否存在一种自动化框架，可在无需人工干预的情况下识别并纠正安全关键型CPS中DNN控制器的不安全控制行为？
• RQ2 基于优化的校正搜索在最小化控制信号变化的同时，确保系统级安全方面的有效性如何？
• RQ3 在将修复后的执行轨迹纳入训练过程后，修复后的DNN控制器在性能与可靠性方面能维持到何种程度？
• RQ4 AUTOREPAIR在具有不同动力学特性与安全需求的多样化工业CPS中，其泛化能力如何？

主要发现

• AUTOREPAIR成功修复了六个来自不同安全关键领域的真实工业CPS实例中DNN控制器的关键安全问题。
• 该框架通过最小且最优的控制信号调整纠正了不安全的控制决策，显著提升了系统可靠性。
• 在将修复后的执行轨迹整合进训练过程后，重新训练的DNN控制器表现出更强的鲁棒性与安全合规性。
• 基于优化的修复方法有效识别出满足复杂STL安全需求的最小校正，且未损害系统性能。