[论文解读] ConAML: Constrained Adversarial Machine Learning for Cyber-Physical Systems

Jiangnan Li, Yingyuan Yang+3 more|arXiv (Cornell University)|Mar 12, 2020

Adversarial Robustness in Machine Learning参考文献 54被引用 17

一句话总结

本文提出约束对抗机器学习（ConAML），一种在真实物理、知识和时间约束下为网络物理系统（CPS）生成对抗性样本的框架。通过将线性物理约束整合到尽力而为的搜索算法中，ConAML在电力系统和水处理系统中成功降低了机器学习模型的性能，即使在仅需极小扰动且逃避率极高的黑盒条件下亦如此。

ABSTRACT

Recent research demonstrated that the superficially well-trained machine learning (ML) models are highly vulnerable to adversarial examples. As ML techniques are becoming a popular solution for cyber-physical systems (CPSs) applications in research literatures, the security of these applications is of concern. However, current studies on adversarial machine learning (AML) mainly focus on pure cyberspace domains. The risks the adversarial examples can bring to the CPS applications have not been well investigated. In particular, due to the distributed property of data sources and the inherent physical constraints imposed by CPSs, the widely-used threat models and the state-of-the-art AML algorithms in previous cyberspace research become infeasible. We study the potential vulnerabilities of ML applied in CPSs by proposing Constrained Adversarial Machine Learning (ConAML), which generates adversarial examples that satisfy the intrinsic constraints of the physical systems. We first summarize the difference between AML in CPSs and AML in existing cyberspace systems and propose a general threat model for ConAML. We then design a best-effort search algorithm to iteratively generate adversarial examples with linear physical constraints. We evaluate our algorithms with simulations of two typical CPSs, the power grids and the water treatment system. The results show that our ConAML algorithms can effectively generate adversarial examples which significantly decrease the performance of the ML models even under practical constraints.

研究动机与目标

• 研究在物理定律、传感器采样率和攻击者知识有限等真实约束下，CPS中机器学习模型对对抗性攻击的脆弱性。
• 针对现有对抗性机器学习（AML）研究中假设拥有完整知识和独立特征的缺陷，通过建模CPS的真实约束来填补这一空白。
• 设计一种实用的攻击框架，生成满足线性物理约束且能规避CPS中检测机制的对抗性样本。
• 在多种攻击场景（黑盒、灰盒等）下，评估ConAML在真实CPS应用（包括电力系统和水处理系统）中的有效性。
• 证明即使在严格约束下，对抗性样本仍能显著降低基于机器学习的入侵检测系统在CPS中的性能。

提出的方法

• 提出一种通用的CPS对抗性机器学习威胁模型，综合考虑物理约束、攻击者知识有限性及时间约束。
• 引入一种通用对抗性测量算法，通过在无完整模型访问的情况下生成对抗性样本，以克服知识限制。
• 设计一种尽力而为的搜索算法，在线性物理约束下迭代生成对抗性输入，使用约束矩阵Φ编码系统定律（如基尔霍夫定律）。
• 采用损失函数平衡对抗性成功（误分类）与约束满足，确保生成的样本在物理上合理。
• 采用基于采样的优化方法，探索扰动的可行空间，同时最小化L2-范数并保持隐蔽性。
• 在两个CPS案例研究中评估该框架：电力系统中的虚假数据注入（FDIA）和水处理系统中的异常检测，使用真实机器学习模型和系统约束。

实验结果

研究问题

• RQ1 能否在满足如基尔霍夫定律等物理约束的同时，为CPS生成可欺骗基于机器学习的入侵检测模型的对抗性样本？
• RQ2 在攻击者无法访问模型或未被破坏的传感器数据的黑盒设置下，ConAML的效能如何？
• RQ3 在CPS中，对抗性成功率、扰动大小（L2-范数）与约束复杂度之间的权衡关系如何？
• RQ4 不同攻击场景（白盒、灰盒、黑盒）如何影响真实CPS中对抗性样本的可检测性与性能？
• RQ5 ConAML能否生成幅度小且在实际CPS环境中高度有效以规避检测机制的对抗性样本？

主要发现

• 在电力系统FDIA模型的黑盒场景中，ConAML成功生成对抗性样本，将检测准确率降至0%，即使扰动极小。
• 黑盒攻击实现了1.14%的检测准确率，L2-范数为0.411，优于基线方法（erba2019real）在准确率和坏数据规模方面的表现。
• 与最优攻击者场景相比，ConAML注入的坏数据规模更小，表明由于更强的约束执行，隐蔽性更高。
• 随着约束强度（λ）的增加，检测概率上升，证实更复杂的约束虽降低攻击成功率，但提升样本的现实合理性。
• 尽力而为的搜索算法随约束复杂度呈可扩展性：更多被攻陷的传感器导致计算时间增加（黑盒场景最高达451.8ms），因约束矩阵增大。
• 在水处理系统案例中，ConAML在灰盒模式下实现了88.4%的攻击成功率，且扰动极小（L2 = 0.184），证明其在多样化CPS应用中的有效性。