[論文レビュー] Multi-Source Data Fusion for Cyberattack Detection in Power Systems

Abhijeet Sahu, Zeyu Mao+5 more|arXiv (Cornell University)|Jan 18, 2021

Network Security and Intrusion Detection参考文献 69被引用数 4

ひとこと要約

本論文は、リアルタイムのテストベッドから得られるサイバー、物理、セキュリティデータを統合するマルチソースデータ統合フレームワークを提案する。時間に同期された前処理と機械学習モデルを用いた異種センサー情報の統合により、純粋なサイバー指向の検出手法に比べ、F1スコアで最大20%の向上を達成した。共同学習を用いた半教師あり学習は、教師あり学習の性能を同等または上回る結果を示した。

ABSTRACT

Cyberattacks can cause a severe impact on power systems unless detected early. However, accurate and timely detection in critical infrastructure systems presents challenges, e.g., due to zero-day vulnerability exploitations and the cyber-physical nature of the system coupled with the need for high reliability and resilience of the physical system. Conventional rule-based and anomaly-based intrusion detection system (IDS) tools are insufficient for detecting zero-day cyber intrusions in the industrial control system (ICS) networks. Hence, in this work, we show that fusing information from multiple data sources can help identify cyber-induced incidents and reduce false positives. Specifically, we present how to recognize and address the barriers that can prevent the accurate use of multiple data sources for fusion-based detection. We perform multi-source data fusion for training IDS in a cyber-physical power system testbed where we collect cyber and physical side data from multiple sensors emulating real-world data sources that would be found in a utility and synthesizes these into features for algorithms to detect intrusions. Results are presented using the proposed data fusion application to infer False Data and Command injection-based Man-in- The-Middle (MiTM) attacks. Post collection, the data fusion application uses time-synchronized merge and extracts features followed by pre-processing such as imputation and encoding before training supervised, semi-supervised, and unsupervised learning models to evaluate the performance of the IDS. A major finding is the improvement of detection accuracy by fusion of features from cyber, security, and physical domains. Additionally, we observed the co-training technique performs at par with supervised learning methods when fed with our features.

研究の動機と目的

• インダストリアル制御システム（ICS）ネットワークにおけるゼロデイ攻撃を検出するための従来のルールベースおよび異常検知ベースのIDSの限界を克服すること。
• 時間分解能やデータ特性が異なるサイバー、物理、セキュリティドメインからの異種データ統合における課題を克服すること。
• リアルタイムのサイバーフィジカルテストベッドにおいて、データ統合、前処理、機械学習技術の影響が侵入検知精度に与える影響を評価すること。
• サイバーと物理特徴のドメイン間統合が、単一ドメイン手法と比較して検出性能を顕著に向上させることを示すこと。
• 限られたラベル付きデータを想定した実世界のシナリオにおいて、共同学習を用いた半教師あり学習の実用性と有効性を検証すること。

提案手法

• フレームワークは、エミュレーテッドサイバー（Snort、ネットワークログ）、物理（PMU、SCADA、スマートメーター）、セキュリティ（IDSアラート）センサーから得られるリアルタイムデータを収集する。
• データ統合は、複数のデータストリームを時間に同期させた上で、欠損値補完、エンコーディング、正規化を含む前処理を経て実施される。
• サイバー、物理、セキュリティドメインから特徴量を抽出し、ドメイン間統合により検出モデルの表現を豊かにする。
• 教師あり、半教師あり（共同学習）、非教師あり（k-means、多様体学習）の学習モデルを統合データセット上で訓練・評価する。
• 次元削減の利点を評価するために、多様体学習技術（LLE、MDS、Isomap、t-SNE、スペクトル法）を適用し、分類器間での性能を比較する。
• 分類器（SVC、k-NN、DT、RF、GNB、BNB、MLP）を用いた攻撃検出タスク（偽装データインジェクション攻撃、マンインザミドル攻撃など）において、F1スコア、適合率、再現率を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 サイバー、物理、セキュリティドメインからのデータ統合は、単一ドメイン検出と比較して、電力システムのICSにおける侵入検知精度を向上させることができるか？
• RQ2 欠損値補完やエンコーディングを含む前処理は、統合サイバーフィジカル侵入検知における機械学習モデルの性能にどのように影響を与えるか？
• RQ3 ラベル付きデータが限られている状況下で、共同学習を用いた半教師あり学習は、完全に教師あり学習と比較してどの程度の性能を示すか？
• RQ4 統合サイバーフィジカル特徴に多様体学習を適用しても分類精度が向上するか、それとも主に可視化用途に有用であるか？
• RQ5 異なる時間分解能と時間同期の課題が、リアルタイムICS環境におけるマルチソースデータ統合の有効性にどのように影響を与えるか？

主な発見

• サイバーと物理特徴の統合により、単一のサイバー特徴のみを用いた場合と比較して、平均15〜20%のF1スコア向上が達成された。
• Snortベースのラベルをインシデント発生のタイムスタンプに置き換えることで、F1スコアが平均10〜20%向上した。
• 共同学習を用いた半教師あり学習は、教師あり学習と同等または上回る性能を示し、特定の分類器（LR、GNBなど）ではF1スコアが最大5%向上した。
• k-meansクラスタリングアルゴリズムは、非教師あり手法の中で優れた耐障害性と精度を示し、他のクラスタリング手法を上回った。
• LLE、MDS、Isomapなどの多様体学習技術は分類精度の向上に寄与せず、したがって性能向上の目的には推奨されないが、可視化用途には有効である可能性がある。
• 決定木とランダムフォレスト分類器は、多様体学習を組み合わせても性能差が最小限に抑えられ、これらのモデルには多様体学習が不要であると示唆された。