[論文レビュー] Implementing SCADA Scenarios and Introducing Attacks to Obtain Training Data for Intrusion Detection Methods

Simon D. Duque Antón, Michael Gundall+2 more|arXiv (Cornell University)|May 28, 2019

Network Security and Intrusion Detection参考文献 14被引用数 14

ひとこと要約

本論文では、シーメンスS7 PLCとOPC UAを用いた実世界のSCADAテストベッドを提示し、異常ベースのインライン検出システムのトレーニングを目的として、標的付きのネットワークトラフィックデータを生成する。合成およびライブ攻撃シミュレーション（すなわち、静かで効果的な論理操作とセンサー水準の相関）を組み合わせることで、機械学習ベースのインライン検出の評価に適した、包括的かつ真値ラベル付きのデータセットを構築した。

ABSTRACT

There are hardly any data sets publicly available that can be used to evaluate intrusion detection algorithms. The biggest threat for industrial applications arises from state-sponsored and criminal groups. Often, formerly unknown exploits are employed by these attackers, so-called 0-day exploits. They cannot be discovered with signature-based intrusion detection. Thus, statistical or machine learning based anomaly detection lends itself readily. These methods especially, however, need a large amount of labelled training data. In this work, an exemplary industrial use case with real-world industrial hardware is presented. Siemens S7 Programmable Logic Controllers are used to control a real world-based control application using the OPC UA protocol: A pump, filling and emptying water tanks. This scenario is used to generate application specific network data. Furthermore, attacks are introduced into this data set. This is done in three ways: First, the normal process is monitored and captured. Common attacks are then synthetically introduced into this data set. Second, malicious behaviour is implemented on the Programmable Logic Controller program and executed live, the traffic is captured as well. Third, malicious behaviour is implemented on the Programmable Logic Controller while still keeping the same output behaviour as in normal operation. An attacker could exploit an application but forge valid sensor output so that no anomaly is detected. Sensors are employed, capturing temperature, sound and flow of water to create data that can be correlated to the network data and used to still detect the attack. All data is labelled, containing the ground truth, meaning all attacks are known and no unknown attacks occur. This makes them perfect for training of anomaly detection algorithms. The data is published to enable security researchers to evaluate intrusion detection solutions.

研究の動機と目的

• インライン検出アルゴリズムの評価に適した、公開可能で現実的かつラベル付きのSCADAネットワークデータセットが極めて不足しているという深刻な課題に対処する。
• 実際のシーメンスS7 PLCとOPC UAプロトコルを用いて、現実の産業制御プロセスを模倣する代表的な産業制御シナリオを構築する。
• 検出可能かつ静かで効果的な攻撃を含む多様な攻撃データを生成し、異常検出モデルのトレーニングを支援する。
• ネットワークトラフィックと相関するセンサーデータ（温度、流量、音響）を統合することで、ゼロデイ攻撃および論理ベースの攻撃の検出を可能にする。
• 再現可能でオープンなデータセットを提供し、産業サイバーセキュリティおよび機械学習ベースのインライン検出に関する研究を支援する。

提案手法

• OPC UAを介して実際の産業制御プロセスをエミュレートするため、ポンプ、水タンク、シーメンスS7 PLCを含む物理的SCADAセットアップを展開する。
• 通常動作時のベースラインネットワークトラフィックをキャプチャし、異常検出の基準を確立する。
• 捕獲したネットワークデータに合成的なサイバー攻撃（例：DoS、コマンドインジェクション）を導入し、ラベル付きの攻撃インスタンスを生成する。
• 制御動作を変更するが、通常の出力を模倣する悪意ある論理をPLCに実装し、静かで効果的な攻撃をシミュレートする。
• ネットワークトラフィックと相関するプロセスレベルのデータを収集するため、物理的センサー（温度、流量、音響）を統合し、マルチモーダル異常検出を実現する。
• 攻撃タイプ、タイミング、影響を含む真値ラベルを、すべてのネットワークおよびセンサーデータに付与し、検出モデルの教師ありトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 実世界の産業制御環境において、多様なサイバー攻撃を含む現実的でラベル付きのSCADAネットワークトラフィックは、どのように生成可能か？
• RQ2 センサーデータが監視されていない場合、PLC上の静かで効果的な論理ベース攻撃がネットワークベース検出をどの程度回避できるか？
• RQ3 ネットワークと物理的センサーの統合（マルチモーダルデータ統合）により、SCADAシステムにおける論理ベースおよびゼロデイ攻撃の検出が向上するか？
• RQ4 本研究で新たに生成された真値ラベル付きデータセットを用いてトレーニングされた機械学習ベースの異常検出モデルの有効性はどの程度か？
• RQ5 ラベル付き攻撃データのどのような特徴が、産業環境における耐障害性の高いインライン検出システムのトレーニングに適しているか？

主な発見

• 著者らは、ネットワークレベルおよび論理ベース攻撃を含む12種類の異なる攻撃タイプを持つ包括的なラベル付きSCADAネットワークトラフィックデータセットを成功裏に生成した。
• 通常のセンサ出力を維持しながらPLC論理を操作する静かで効果的な攻撃は、物理的センサーデータと組み合わせて初めて検出可能であることが確認された。
• センサーデータ（流量、温度、音響）が、ネットワークトラフィックのみでは見えない攻撃を検出するための重要なコンテキストを提供した。
• すべての攻撃に対して真値ラベルが付与されているため、本データセットは教師ありおよび半教師ありの異常検出モデルのトレーニングおよび評価に適している。
• 物理的テストベッドは、実世界の産業制御システムが、サイバーセキュリティ研究のための高精度で再現可能なトレーニングデータを生成可能であることを示した。
• 本データセットは公開されており、産業環境におけるインライン検出ソリューションの再現可能で基準化されたベンチマーク評価を支援する。