[論文レビュー] Omni SCADA Intrusion Detection Using Deep Learning Algorithms

Jun Gao, Luyun Gan+6 more|arXiv (Cornell University)|Aug 6, 2019

Network Security and Intrusion Detection参考文献 25被引用数 9

ひとこと要約

本論文は、フィードフォワードニューラルネットワーク（FNN）と長短期記憶（LSTM）ネットワークを組み合わせることで、時間的に相関のない攻撃および相関のある攻撃の両方を検出可能なアンサンブル深層学習インライン検出システム（IDS）を提案する。FNN-LSTMアンサンブルは、99.68% ± 0.04%のF1スコアを達成し、個々のモデルを上回り、DoSおよびMITMを含む多様な攻撃タイプにおいて、強固で包括的な検出を実現する。

ABSTRACT

We investigate deep learning based omni intrusion detection system (IDS) for supervisory control and data acquisition (SCADA) networks that are capable of detecting both temporally uncorrelated and correlated attacks. Regarding the IDSs developed in this paper, a feedforward neural network (FNN) can detect temporally uncorrelated attacks at an {F$_{1}$} of {99.967${\pm}$0.005\%} but correlated attacks as low as {58${\pm}$2\%}. In contrast, long-short term memory (LSTM) detects correlated attacks at {99.56${\pm}$0.01\%} while uncorrelated attacks at {99.3${\pm}$0.1\%}. Combining LSTM and FNN through an ensemble approach further improves the IDS performance with {F$_{1}$} of {99.68${\pm}$0.04\%} regardless the temporal correlations among the data packets.

研究の動機と目的

• 従来の署名ベースIDSが、SCADAシステムにおける未知または進化するサイバー攻撃を検出できないという限界を解決すること。
• 標準的なフィードフォワードネットワークが、特にDoSおよびMITM攻撃においてネットワークトラフィックの時間的依存性をモデル化できないという問題を克服すること。
• 深層学習を用いて、時間的に相関のない攻撃および相関のある攻撃の両方を検出可能な統合的・包括的IDSを構築すること。
• アンサンブル学習により、FNN（相関のない攻撃に適している）とLSTM（相関のある攻撃に適している）の長所を統合し、検出精度を向上させるとともに誤検出を低減すること。
• 多様な攻撃シナリオ下でのModbus/TCPトラフィックを用いた実世界のSCADAテストベッド上で、提案モデルの有効性を実証すること。

提案手法

• パケット内特徴量を用いてフィードフォワードニューラルネットワーク（FNN）を訓練し、ポンプ回転数の操作やタンク液面の異常といった時間的に相関のない攻撃を検出する。
• パケット間の時間的パターンをモデル化するため、長短期記憶（LSTM）ネットワークを訓練し、DoSおよびMITMのような相関のある攻撃を検出可能にする。
• FNNとLSTMの出力を統合し、マルチレイヤーパーセプトロンに入力として与えることで、統合分類を実行するアンサンブルモデルを実装する。
• 実際のSCADAテストベッドから収集したデータセットIおよびII（正常、時間的に相関のある、時間的に相関のない攻撃トラフィックを含む）を用いる。
• 多様な攻撃タイプにおける性能評価のため、10分割交差検証を用い、マクロ平均の適合率、再現率、F1スコアを指標とする。
• CRC、SCAN、MITM、DoSを含むさまざまな攻撃タイプを区別できる多クラス分類フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのIDSは、SCADAネットワークにおける時間的に相関のない攻撃および相関のある攻撃を効果的に検出できるか？
• RQ2 FNNとLSTMの両者が、時間的依存性の異なる攻撃を検出する際、性能に差を示すか？
• RQ3 FNNとLSTMのアンサンブルは、多様な攻撃タイプにわたって全体の検出精度と耐性を向上させることができるか？
• RQ4 手動で作成した時間的特徴量やモデルアーキテクチャの選択が、DoSおよびMITM攻撃の検出性能にどの程度影響を与えるか？
• RQ5 アンサンブルモデルは、一般化性能を損なうことなく、さまざまな攻撃カテゴリにおいても高い性能を維持できるか？

主な発見

• FNNは時間的に相関のない攻撃に対して99.967% ± 0.005%のF1スコアを達成するが、相関のある攻撃に対してはわずか58% ± 2%にとどまり、時間的モデリングに劣っていることが示された。
• LSTMモデルは、相関のある攻撃に対して99.56% ± 0.01%のF1スコア、相関のない攻撃に対しては99.3% ± 0.1%のF1スコアを達成し、優れた時間的パターン認識能力を示した。
• FNN-LSTMアンサンブルモデルは、全攻撃タイプにおいて最高の性能を示し、F1スコアが99.68% ± 0.04%に達した。個々のモデルを上回る性能を発揮した。
• 混同行列から、FNNは正規パケット5,044.7個を攻撃と誤検出し、攻撃パケット13,510.4個を正常と誤検出していることが判明し、相関のあるトラフィックにおける一般化性能の低さが浮き彫りになった。
• LSTMは誤検出をわずか105.0個の正規パケット、128.4個の攻撃パケットにまで低減し、時間的パターンに対する優れた性能を確認した。
• アンサンブルモデルは、FNNおよびLSTMを個別に使用する場合を上回り、マクロ平均F1スコア99.68% ± 0.04%、適合率99.76% ± 0.05%、再現率99.57% ± 0.03%を達成した。