[論文レビュー] On the Elements of Datasets for Cyber Physical Systems Security

Ashraf Tantawy|arXiv (Cornell University)|Aug 17, 2022

Network Security and Intrusion Detection被引用数 4

ひとこと要約

本論文は、サイバー物理システム（CPS）のセキュリティを支援する包括的なデータセットアーキテクチャを提案する。物理的要因、サイバー要因、攻撃要因のデータ要素を統合することで、強固なAI駆動型セキュリティソリューションの実現を可能にする。既存のデータセットとテストベッドの限界を分析した結果、ラベリング、攻撃の多様性、スケーラビリティの面で重要なギャップが明らかになった。本研究では、再現性と再利用の課題を克服するため、仮想化されたテストベッドの活用を提言する。

ABSTRACT

Datasets are essential to apply AI algorithms to Cyber Physical System (CPS) Security. Due to scarcity of real CPS datasets, researchers elected to generate their own datasets using either real or virtualized testbeds. However, unlike other AI domains, a CPS is a complex system with many interfaces that determine its behavior. A dataset that comprises merely a collection of sensor measurements and network traffic may not be sufficient to develop resilient AI defensive or offensive agents. In this paper, we study the \emph{elements} of CPS security datasets required to capture the system behavior and interactions, and propose a dataset architecture that has the potential to enhance the performance of AI algorithms in securing cyber physical systems. The framework includes dataset elements, attack representation, and required dataset features. We compare existing datasets to the proposed architecture to identify the current limitations and discuss the future of CPS dataset generation using testbeds.

研究の動機と目的

• サイバー物理システム（CPS）における効果的なAIベースのセキュリティを実現するための必須データ要素を特定すること。
• 物理的ダイナミクス、攻撃の文脈、適切なラベリングが欠落していることが一般的な現有的なCPSセキュリティデータセットの不足と限界を是正すること。
• 防衛的および攻撃的AI研究を両立できる標準化されたデータセットアーキテクチャを提案すること。
• 現有的なデータセットの欠陥（例：システム障害モードの欠落、文書化不足、クラスの不均衡）を指摘し、仮想化されたテストベッドをスケーラブルな代替手段として提言すること。
• 適切に構造化され、文書化され、拡張可能なデータセットにより、重複するテストベッド開発を回避し、研究の再利用を促進すること。

提案手法

• CPSをコアコンポonent（物理システム、サイバー・システム、攻撃者）に分解し、それらの相互作用から関連するデータセット要素を抽出する。
• 3つの主要なデータセット要素を定義する：物理的データ（センサー／アクチュエータの測定値）、サイバー的データ（ネットワークトラフィック、ログ）、攻撃的データ（攻撃タイプ、攻撃ベクトル、タイミング）。
• 攻撃の意味的表現をフレームワーク化し、攻撃の意味、隠れやすさ、物理的プロセスへの影響を含める。これはMITRE ATT&CKなどのフレームワークと整合性を持つ。
• ラベリングの粒度、クラスのバランス、スケーラビリティといった、強固なAIモデルの学習を支援するための主要なデータセット特徴を提案する。
• WADI、HAI、S4X15CTF、DEFCON23などの既存データセットを、提案されたアーキテクチャと照らし合わせて評価し、カバー範囲のギャップを特定する。
• 今後のデータセット生成において、物理的テストベッドに代わるスケーラブルで再利用可能かつコスト効率の良い代替手段として、仮想化されたテストベッドの活用を提言する。

実験結果

リサーチクエスチョン

• RQ1 CPSセキュリティデータセットに、システム動作とサイバー物理的相互作用を正確に表現するために、どのようなコアデータ要素を含める必要があるか？
• RQ2 攻撃的データをどのようにデータセットに意味的に表現できるか？これにより、防衛的および攻撃的AI研究が両立可能になるか？
• RQ3 既存のCPSセキュリティデータセットが、なぜ強固なAIモデルの学習を支援できないのか？また、その構造的欠陥は何か？
• RQ4 仮想化されたテストベッドは、物理的テストベッドのスケーラビリティと再利用性の制限をどの程度克服できるか？
• RQ5 ラベリングの粒度、クラスのバランス、文書化といった、再現可能で再利用可能な研究を可能にするために不可欠なデータセット特徴は何か？

主な発見

• 既存のCPSセキュリティデータセットには、システム障害モード、包括的な攻撃ラベリング、ホストログが欠落しており、AI学習への有用性が制限されている。
• 多くのデータセットにDoS攻撃や多様な攻撃シナリオが含まれておらず、多くの場合、個々のネットワークリコードを超えた攻撃ベクトル全体の文脈が欠落している。
• 物理的テストベッドでは、リアルなサイバー攻撃を手動で挿入する作業が重労働であるため、クラスの不均衡が深刻な問題となっている。
• 物理的テストベッドは大規模なAI研究にはスケーラブルではなく、研究グループ間で重複した孤立した取り組みが生じている。
• 仮想化されたテストベッドは、一貫性のある文書化を伴うスケーラブルで繰り返し可能かつ再利用可能なデータセット生成の有望な道筋を提供する。
• 公開済みデータセットにおける標準化された文書化とメタデータの欠如により、研究者が再びテストベッドを構築しなければならず、研究進捗の遅延を招いている。