[論文レビュー] ROAD: The Real ORNL Automotive Dynamometer Controller Area Network Intrusion Detection Dataset (with a comprehensive CAN IDS dataset survey & guide).

Miki E. Verma, Michael D. Iannacone+4 more|arXiv (Cornell University)|Dec 29, 2020

Vehicular Ad Hoc Networks (VANETs)参考文献 30被引用数 19

ひとこと要約

本論文は、実際の車両ダイナモによって実施された本格的な攻撃を含む、最初の包括的なCANインライン検出データセットであるROADデータセットを紹介するとともに、既存の公開CAN IDSデータセットに関する包括的なサーベイを実施している。研究者らは、高精度でラベル付けされた攻撃データと、CANインライン検出システムの評価および比較に適切なデータセットを選定するための詳細なガイドを提供される。

ABSTRACT

The Controller Area Network (CAN) protocol is ubiquitous in modern vehicles, but the protocol lacks many important security properties, such as message authentication. To address these insecurities, a rapidly growing field of research has emerged that seeks to detect tampering, anomalies, or attacks on these networks; this field has developed a wide variety of novel approaches and algorithms to address these problems. One major impediment to the progression of this CAN anomaly detection and intrusion detection system (IDS) research area is the lack of high-fidelity datasets with realistic labeled attacks, without which it is difficult to evaluate, compare, and validate these proposed approaches. In this work we present the first comprehensive survey of publicly available CAN intrusion datasets. Based on a thorough analysis of the data and documentation, for each dataset we provide a detailed description and enumerate the drawbacks, benefits, and suggested use cases. Our analysis is aimed at guiding researchers in finding appropriate datasets for testing a CAN IDS. We present the Real ORNL Automotive Dynamometer (ROAD) CAN Intrusion Dataset, providing the first dataset with real, advanced attacks to the existing collection of open datasets.

研究の動機と目的

• 自動車ネットワークにおけるインライン検出システム（IDS）の評価および比較に用いるための、高精度で現実的かつラベル付け済みのCANインライン検出データセットの著しい不足に対処する。
• 研究の質、制限、適性を評価するために、既存の公開利用可能なCAN IDSデータセットの包括的サーベイを実施する。
• 研究者が特定のIDS評価ニーズに基づいて適切なデータセットを選定できるように、詳細で根拠に基づいたガイドを提供する。
• 実際の車両ネットワークに対して、制御された条件下で本格的な攻撃を実施した、実世界の高精度な攻撃データを含む「Real ORNL Automotive Dynamometer（ROAD）」データセットを提示する。
• 現実の攻撃シナリオと包括的な文書化を提供することで、CAN IDSアルゴリズムの再現可能で妥当な評価を可能にする。

提案手法

• 構造的なレビュー手順を用いて、公開利用可能なすべてのCANインライン検出データセットを体系的に収集および分析する。
• データの忠実度、攻撃の現実性、ラベルの正確性、文書化の質、再現可能性といった重要な基準に基づき、各データセットを評価する。
• 攻撃タイプ、データ収集環境、目的用途別にデータセットを分類し、研究者が情報に基づいて選択できるように支援する。
• ORNLにおける本格的な自動車ダイナモを用いて、実世界の攻撃実験を設計および実施し、ROADデータセットを生成する。
• 正常な動作時および多様な高度で現実的なサイバー攻撃（リプレイ、スプーフィング、サービス拒否攻撃など）発生時におけるCAN通信を記録およびラベル付けする。
• すべての実験条件、攻撃ベクトル、ラベル付け手順を文書化し、将来的な研究における透明性と再現可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 既存の公開利用可能なCANインライン検出データセットの主な長所と短所は何か？
• RQ2 データの忠実度、攻撃の現実性、文書化の質の観点から、異なるCAN IDSデータセットはどのように比較できるか？
• RQ3 現在の公開データセットにおいて、欠落しているか、不足している攻撃シナリオの種類は何か？
• RQ4 実世界の高精度なデータセットに高度な攻撃を含めることで、CAN IDSアルゴリズムの評価および検証が向上するか？
• RQ5 研究者が自らのIDS研究目的に最も適したデータセットを選定するには、どのようにすればよいか？

主な発見

• ROADデータセットは、実際の自動車ダイナモを用いて、機能する車両ネットワークに対して本格的な攻撃を記録した、最初の公開利用可能なCAN IDSデータセットである。
• サーベイの結果、既存のデータセットには攻撃の現実性が低く、ラベル付けが不正確で、文書化が不十分であるという顕著な欠陥が判明し、IDSアプローチの信頼性ある評価を阻害している。
• 多くの既存データセットは攻撃タイプが多様でないか、現実の車両運転状態をシミュレートしていないため、強固なIDSテストに有用でない。
• ROADデータセットには、制御されたが現実的な条件下で実施された、リプレイ、スプーフィング、サービス拒否攻撃を含む多様な高度な攻撃が含まれている。
• データセットは完全にラベル付けされており、詳細な文書化が付随しているため、再現可能な実験とIDSアルゴリズムの公平な比較が可能である。
• 包括的なサーベイにより、研究者がIDS評価における一般的な落とし穴を避けるための明確なデータセット選定フレームワークが提供されている。