[論文レビュー] SecureBERT and LLAMA 2 Empowered Control Area Network Intrusion Detection and Classification

Xuemei Li, Huirong Fu|arXiv (Cornell University)|Nov 19, 2023

Network Security and Intrusion Detection被引用数 6

ひとこと要約

本稿では、生のテキストベースのCANメッセージログを用いて、直接的な侵入検知および攻撃分類を実行する、微調整されたトランスフォーマー基盤モデルであるCAN-SecureBERTおよびCAN-Llama2を提案する。CAN-Llama2モデルは、バランス化された正確度0.999993および誤検知率3.1e-6を達成しており、最先端のMTH-IDSよりも52倍低い誤検知率を示しており、特徴工学を伴わずに優れた性能を発揮している。

ABSTRACT

Numerous studies have proved their effective strength in detecting Control Area Network (CAN) attacks. In the realm of understanding the human semantic space, transformer-based models have demonstrated remarkable effectiveness. Leveraging pre-trained transformers has become a common strategy in various language-related tasks, enabling these models to grasp human semantics more comprehensively. To delve into the adaptability evaluation on pre-trained models for CAN intrusion detection, we have developed two distinct models: CAN-SecureBERT and CAN-LLAMA2. Notably, our CAN-LLAMA2 model surpasses the state-of-the-art models by achieving an exceptional performance 0.999993 in terms of balanced accuracy, precision detection rate, F1 score, and a remarkably low false alarm rate of 3.10e-6. Impressively, the false alarm rate is 52 times smaller than that of the leading model, MTH-IDS (Multitiered Hybrid Intrusion Detection System). Our study underscores the promise of employing a Large Language Model as the foundational model, while incorporating adapters for other cybersecurity-related tasks and maintaining the model's inherent language-related capabilities.

研究の動機と目的

• 広範な前処理、ルールベースのワークフロー、および特徴工学を要する従来のCAN侵入検知システムの限界を解決すること。
• 特に大規模言語モデルを用いた、事前学習済みトランスフォーマー・モデルのCANネットワークにおける侵入検知および攻撃分類への適応可能性を評価すること。
• 高い検知正確度と低い誤検知率を維持しつつ、生のCANメッセージログを直接処理できるモデルの開発。
• 事前学習ドメイン知識（例：サイバーセキュリティに特化したデータ）およびモデルスケール（例：Llama2対BERT）がIDS性能に与える影響を評価すること。
• 大規模で事前学習済みのLLMを、パラメータ効率の良い手法（例：LoRA）で微調整することで、従来の機械学習ベースのIDSシステムを正確度および耐性の両面で上回ることを実証すること。

提案手法

• 生のCANメッセージログの前処理済みバランスデータセット上で、事前学習済みトランスフォーマー・モデル（CAN-C-BERT、CAN-SecureBERT、CAN-Llama2）を微調整する。
• LoRA（低ランク適応）を用いて、大規模なLlama2モデルの4000万パラメータのみを微調整し、残りの54倍大きいパラメータベースを凍結する。
• 手動による特徴抽出や前処理を一切行わず、モデルのアテンションメカニズムが組み込みパターンを学習できるように、生のテキストベースのCANメッセージを直接処理する。
• マルチヘッド自己注意機構と位置エンコーディングを用いて、CANメッセージ列における長距離依存関係および意味的関係をモデル化する。
• 4種類の攻撃タイプ（DoS、Fuzzy、Gear Spoofing、RPM Spoofing）のバランス化済みデータセット上で、エンドツーエンドにモデルを訓練する。
• 標準指標（バランス化された正確度（BA）、精度（PREC）、検知率（DR）、F1スコア、誤検知率（FAR））を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 Llama2のような事前学習済みの大規模言語モデルは、特徴工学を伴わず、生のメッセージログを用いて直接的なCAN侵入検知に効果的に微調整可能か？
• RQ2 トランスフォーマー・モデルのスケールおよび事前学習ドメイン（例：Llama2 対 BERT 対 SecureBERT）が、CAN IDSタスクにおける性能に与える影響はいかほどか？
• RQ3 パラメータ効率の良い微調整（例：LoRA）は、リソース制限のある車載環境における高性能な推論をどの程度可能にするか？
• RQ4 訓練データ量の変化に伴いモデル性能はどのように変化するか？また、より大きなモデルは限られたデータにおいてもより速く収束し、より良い一般化性能を示すか？
• RQ5 LLMベースのモデルは、MTH-IDSのような最先端のシステムよりも顕著に低い誤検知率を達成できるか、同時にほぼ完璧な検知正確度を維持できるか？

主な発見

• CAN-Llama2はバランス化された正確度0.999993、精度1.0、検知率1.0、F1スコア1.0を達成し、誤検知率は3.1e-6であった。
• CAN-Llama2の誤検知率（3.1e-6）は、最先端のMTH-IDSモデルの52倍低い。
• 1%のデータでの訓練においても、他のモデルよりもCAN-Llama2がより速く収束しており、大規模事前学習による優れたインダクティブバイアスおよびパターン認識能力を示している。
• 微調整パラメータ数が少ないにもかかわらず、CAN-Llama2は、より大きな事前学習パラメータベースとドメイン最適化アーキテクチャのおかげで、CAN-SecureBERTおよびCAN-C-BERTを上回る性能を発揮した。
• 10%のデータで学習したモデルは、1%のデータで学習したモデルよりも一貫して優れた性能を示しており、データスケールの増加に伴い一般化性能が向上することを示している。
• サイバーセキュリティに特化したデータで事前学習されたCAN-SecureBERTは、CAN-Llama2ほど高い性能を発揮しなかったが、CAN-C-BERTを上回り、ドメイン特化型の事前学習がIDS性能を向上させることを示唆している。