[論文レビュー] LCCDE: A Decision-Based Ensemble Framework for Intrusion Detection in The Internet of Vehicles

Li Yang, Abdallah Shami+2 more|arXiv (Cornell University)|Aug 5, 2022

Network Security and Intrusion Detection被引用数 4

ひとこと要約

本論文は、予測信頼度に基づいて各攻撃種別に対して最良の勾配ブースティングモデル（XGBoost、LightGBM、またはCatBoost）を選択する意思決定ベースのアンサンブルフレームワーク、LCCDEを提案する。この手法により、インテリジェント・ビークル（IoV）ネットワークにおける不正検知精度が顕著に向上し、Car-Hackingデータセットでは99.9997%、CICIDS2017データセットでは99.811%というほぼ完璧なF1スコアを達成し、最先端の手法を上回る性能を示した。

ABSTRACT

Modern vehicles, including autonomous vehicles and connected vehicles, have adopted an increasing variety of functionalities through connections and communications with other vehicles, smart devices, and infrastructures. However, the growing connectivity of the Internet of Vehicles (IoV) also increases the vulnerabilities to network attacks. To protect IoV systems against cyber threats, Intrusion Detection Systems (IDSs) that can identify malicious cyber-attacks have been developed using Machine Learning (ML) approaches. To accurately detect various types of attacks in IoV networks, we propose a novel ensemble IDS framework named Leader Class and Confidence Decision Ensemble (LCCDE). It is constructed by determining the best-performing ML model among three advanced ML algorithms (XGBoost, LightGBM, and CatBoost) for every class or type of attack. The class leader models with their prediction confidence values are then utilized to make accurate decisions regarding the detection of various types of cyber-attacks. Experiments on two public IoV security datasets (Car-Hacking and CICIDS2017 datasets) demonstrate the effectiveness of the proposed LCCDE for intrusion detection on both intra-vehicle and external networks.

研究の動機と目的

• IoVネットワークにおける異なる種類のサイバー攻撃に対して機械学習モデルの性能が一貫しないという課題に対処すること。
• 各攻撃種別に対して最良の性能を示すモデルを動的に選択することで、不正検知精度を向上させること。
• 予測信頼度スコアを活用して、アンサンブルベースの不正検知における意思決定を強化すること。
• 内部車載ネットワーク（CANバス）および外部ネットワーク脅威を含む実世界のIoVセキュリティデータセットを用いてフレームワークを評価すること。
• 既存の最先端の機械学習およびアンサンブルIDSアプローチと比較して優れた性能を示すことを実証すること。

提案手法

• LCCDEフレームワークは、検証性能に基づいて各攻撃種別に対して最良の機械学習モデル（XGBoost、LightGBM、またはCatBoost）を選択する。
• 各攻撃タイプに対して、予測信頼度が最も高いモデルを「クラスリーダー」として指定し、最終意思決定を担当させる。
• アンサンブルは、クラス固有のリーダーモデルを組み合わせ、その信頼度スコアを用いて最終的な不正検知分類を決定する。
• フレームワークは、Car-Hacking（車載ネットワーク）およびCICIDS2017（外部ネットワーク）の2つの公開IoVデータセットを用いて訓練および評価される。
• アンサンブルの複雑さにもかかわらず、並列実行とGPUサポートを採用することで、効率的な推論時間を維持する。
• 予測信頼度を意思決定基準として用いることで、多クラス不正検知における耐障害性と精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 各攻撃種別に対して最良のモデルを選択する動的アンサンブル戦略は、IoVにおける全体的な不正検知精度を向上させることができるか？
• RQ2 予測信頼度を組み込むことで、IoV向けアンサンブルベースIDSにおける意思決定はどのように向上するか？
• RQ3 LCCDEフレームワークは、標準的なIoVセキュリティベンチマークにおいて、個々のモデルや既存のアンサンブル手法を上回る性能を示すか？
• RQ4 提案されたLCCDEフレームワークにおいて、検知精度と実行時間のトレードオフはどのように変化するか？
• RQ5 フレームワークは、DoS、スプーフィング、ブルートフォース攻撃を含む多様な攻撃種別において、車載ネットワークおよび外部ネットワークデータの両方で効果的に機能するか？

主な発見

• LCCDEフレームワークは、Car-Hackingデータセットで99.9997%というほぼ完璧なF1スコアを達成し、比較したすべてのモデルを上回った。
• CICIDS2017データセットでは、LCCDEが99.811%のF1スコアを達成し、次に優れた手法よりも0.11%の向上を示した。
• 個々の攻撃種別すべてにおいて、LCCDEは最高のF1スコアを達成し、あらゆる脅威タイプにおいて一貫した優位性を示した。
• フレームワークは、Car-Hackingで185.1秒、CICIDS2017で168.9秒という合理的な実行時間を維持し、KNNやSVMを上回る性能を示した。
• クラスリーダーモデルと信頼度スコアの組み合わせは、静的アンサンブルや単一モデルアプローチと比較して、顕著に検知精度を向上させた。
• LCCDEは、DCNN、LSTM-AE、スタッキングアンサンブルといった最先端の手法を、F1スコアおよび攻撃種別全体における耐障害性の両面で上回った。