[論文レビュー] Efficient Cyber Attacks Detection in Industrial Control Systems Using Lightweight Neural Networks and PCA

Moshe Kravchik, Asaf Shabtai|arXiv (Cornell University)|Jul 2, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用数 11

ひとこと要約

本稿では、1次元畳み込みニューラルネットワーク（1D CNN）およびオートエンコーダー（AE）を用いて、時間領域および周波数領域の両方で、産業制御システム（ICS）向けの軽量で汎用性の高い異常検出手法を提案する。本手法は、3つの公開ICSデータセットにおいて最先端の検出性能を達成しており、攻撃者による回避攻撃に対しても頑健性を示し、特徴量の寄与度を用いた攻撃局所化が可能である。また、PCAを用いた前処理により、多くの場合で検出の効率性と正確性が向上する。

ABSTRACT

Industrial control systems (ICSs) are widely used and vital to industry and society. Their failure can have severe impact on both economics and human life. Hence, these systems have become an attractive target for attacks, both physical and cyber. A number of attack detection methods have been proposed, however they are characterized by a low detection rate, a substantial false positive rate, or are system specific. In this paper, we study an attack detection method based on simple and lightweight neural networks, namely, 1D convolutions and autoencoders. We apply these networks to both the time and frequency domains of the collected data and discuss pros and cons of each approach. We evaluate the suggested method on three popular public datasets and achieve detection rates matching or exceeding previously published detection results, while featuring small footprint, short training and detection times, and generality. We also demonstrate the effectiveness of PCA, which, given proper data preprocessing and feature selection, can provide high attack detection scores in many settings. Finally, we study the proposed method's robustness against adversarial attacks, that exploit inherent blind spots of neural networks to evade detection while achieving their intended physical effect. Our results show that the proposed method is robust to such evasion attacks: in order to evade detection, the attacker is forced to sacrifice the desired physical impact on the system. This finding suggests that neural networks trained under the constraints of the laws of physics can be trusted more than networks trained under more flexible conditions.

研究の動機と目的

• 計算リソースの最小限の消費で高い検出正確性を維持しつつ、汎用性の高いICS用異常検出手法の開発。
• 多様なICSデータセットにおける攻撃検出に、時間領域および周波数領域の両方で1D CNNとオートエンコーダーの有効性を評価すること。
• ニューラルネットワークベースの特徴量寄与度を用いて、影響を受けるセンサーやアクチュエーターを特定することで、解釈可能な攻撃局所化を実現すること。
• 物理的影響を保ったまま検出を回避しようとする攻撃者による敵対的回避攻撃に対する、提案モデルの頑健性を評価すること。
• PCAに基づく特徴選択および再構成を、軽量なベースライン検出器としての有効性を調査すること。

提案手法

• 本手法は、ICSのセンサーやアクチュエーターのデータから、時間領域および周波数領域の両方で正常動作パターンを学習するため、1D CNNと未圧縮オートエンコーダー（UAE）を用いる。
• 時間領域データは直接処理され、周波数領域分析は短時間フーリエ変換（STFT）を用いてスペクトル特徴を抽出する。
• 特徴選択にはコルモゴロフ＝スミルノフ検定を用い、最も判別能の高い変数を特定することでノイズを低減し、モデルの一般化性能を向上させる。
• 攻撃局所化は、モデル出力に対する入力特徴量の勾配を計算することで達成され、どのセンサーまたはアクチュエーターが最も影響を受けやすいかを特定する。
• 敵対的頑健性は、検出を回避するように生成された敵対的入力を用いた白箱攻撃モデルを用いて評価され、ノイズ制約を変化させた状況でも検証される。
• PCAは前処理および単独の検出手法として適用され、再構成誤差が異常スコアとして機能する。

実験結果

リサーチクエスチョン

• RQ1 1D CNNとオートエンコーダーは、異なるICSデータセットに一般化可能であり、従来の手法を上回る検出正確性を達成できるか？
• RQ2 時間領域分析と比較して、周波数領域表現は攻撃検出性能を向上させるか？
• RQ3 影響を受けるセンサーやアクチュエーターを特定することで、解釈可能な攻撃局所化が可能か？
• RQ4 物理的システムへの影響を保ったまま検出を回避しようとする敵対的回避攻撃に対して、ニューラルネットワークベースの検出器はどれほど頑健か？
• RQ5 PCAに基づく特徴選択および再構成は、ICSにおける異常検出のための効果的で軽量なベースラインとして機能するか？

主な発見

• 提案された1D CNNおよびオートエンコーダーモデルは、SWaT、WADI、PecanStreetデータセットにおいて、従来の研究結果と同等またはそれを上回る検出率を達成しており、誤検出率が低く、高速な推論時間が実現された。
• STFTを用いた周波数領域分析は、特定の状況で検出性能を向上させた。特に、信号の周期性や高調波成分が異常を示す場合に顕著であった。
• モデルは強い敵対的頑健性を示した。検出を回避するための敵対的入力は、意図した物理的動作から顕著に逸脱する必要があり、実世界の攻撃には現実的でない。
• ノイズ制約（例：≤0.05）が適用された場合、敵対的入力生成は完全に失敗した。これは、現実の摂動に対して極めて高い耐性を示していることを示している。
• PCAに基づく再構成誤差は、適切な特徴選択と組み合わせることで、より複雑なモデルを上回るか同等の性能を示す有効なベースライン検出器として機能した。
• 勾配に基づく感度マップによる攻撃局所化は、スプーフィング攻撃で複数の特徴量が同時に影響を受ける可能性があるものの、システム管理者が即座に対応可能な有用なインサイトを提供した。