[论文解读] Intrusion Detection for Industrial Control Systems: Evaluation Analysis and Adversarial Attacks.

Giulio Zizzo, Chris Hankin+2 more|arXiv (Cornell University)|Nov 8, 2019

Adversarial Robustness in Machine Learning参考文献 10被引用 16

一句话总结

本文评估了一种基于LSTM的工业控制系统（ICS）入侵检测系统（IDS），揭示其易受操纵传感器数据的对抗性攻击影响，从而逃避检测。本文提出一种无数据泄露的调优方法，在考虑攻击后效的情况下，F₁分数达到0.811 ± 0.0103，提升了实际部署中的鲁棒性与可靠性。

ABSTRACT

Neural networks are increasingly used in security applications for intrusion detection on industrial control systems. In this work we examine two areas that must be considered for their effective use. Firstly, is their vulnerability to adversarial attacks when used in a time series setting. Secondly, is potential over-estimation of performance arising from data leakage artefacts. To investigate these areas we implement a long short-term memory (LSTM) based intrusion detection system (IDS) which effectively detects cyber-physical attacks on a water treatment testbed representing a strong baseline IDS. For investigating adversarial attacks we model two different white box attackers. The first attacker is able to manipulate sensor readings on a subset of the Secure Water Treatment (SWaT) system. By creating a stream of adversarial data the attacker is able to hide the cyber-physical attacks from the IDS. For the cyber-physical attacks which are detected by the IDS, the attacker required on average 2.48 out of 12 total sensors to be compromised for the cyber-physical attacks to be hidden from the IDS. The second attacker model we explore is an $L_{\infty}$ bounded attacker who can send fake readings to the IDS, but to remain imperceptible, limits their perturbations to the smallest $L_{\infty}$ value needed. Additionally, we examine data leakage problems arising from tuning for $F_1$ score on the whole SWaT attack set and propose a method to tune detection parameters that does not utilise any attack data. If attack after-effects are accounted for then our new parameter tuning method achieved an $F_1$ score of 0.811$\pm$0.0103.

研究动机与目标

• 评估基于LSTM的入侵检测系统（IDS）在工业控制系统中对对抗性攻击的脆弱性。
• 研究在超参数调优过程中因数据泄露导致的性能高估问题。
• 开发一种避免使用攻击数据的参数调优方法，以防止数据泄露带来的伪影。
• 评估两种不同攻击者模型下对抗性攻击在逃避检测方面的有效性。
• 量化攻击者为成功隐藏网络物理攻击而需控制的传感器数量。

提出的方法

• 在SWaT水处理测试平台数据集上实现基于LSTM的IDS，用于检测网络物理攻击。
• 模拟两种白盒攻击者模型：一种在部分传感器上操纵读数，另一种使用L∞-有界扰动以保持不可察觉。
• 提出一种新的超参数调优策略，在优化过程中排除攻击数据，以消除数据泄露。
• 以F₁分数为主要评估指标，调优过程仅在非攻击数据部分进行。
• 在评估中考虑攻击的后效，以反映现实世界中的检测延迟和持续性。
• 通过测量被攻陷的传感器数量和相应的逃避率来评估对抗性攻击的成功率。

实验结果

研究问题

• RQ1 在时间序列环境下，基于LSTM的IDS对操纵传感器读数的对抗性攻击有多脆弱？
• RQ2 在超参数调优过程中，数据泄露在多大程度上导致IDS评估性能被高估？
• RQ3 攻击者至少需要控制多少个传感器，才能成功逃避IDS的检测？
• RQ4 L∞-有界对抗性攻击在保持不可察觉的同时，其逃避检测的有效性如何？
• RQ5 无数据泄露的调优方法是否能提升入侵检测中F₁分数估计的可靠性？

主要发现

• 攻击者平均仅需控制12个传感器中的2.48个，即可成功隐藏网络物理攻击，使基于LSTM的IDS无法检测。
• 所提出的无数据泄露调优方法在考虑攻击后效的情况下，F₁分数达到0.811 ± 0.0103。
• L∞-有界攻击者模型可生成不可察觉的扰动，但仍能成功逃避检测，体现出高度隐蔽性。
• 数据泄露导致的性能高估问题得到证实，尤其在使用完整攻击数据集进行调优时更为明显。
• 本研究指出，标准评估实践可能因攻击数据的污染而高估IDS的鲁棒性。
• 结果强调了在工业控制系统安全研究中，必须采用严格、无数据泄露的评估协议。