[論文レビュー] Revolutionizing Cyber Threat Detection with Large Language Models: A privacy-preserving BERT-based Lightweight Model for IoT/IIoT Devices

Mohamed Amine Ferrag, Mthandazo Ndhlovu+5 more|arXiv (Cornell University)|Jun 25, 2023

Network Security and Intrusion Detection被引用数 22

ひとこと要約

SecurityBERT は、リソース制約のあるデバイス上で高精度かつ高速推論を実現する、IoT/IIoT のサイバー脅威検出のためのプライバシー保護対応の軽量15層の BERT ベースモデルで、PPFLLE エンコーディングと BBPE を使用します。

ABSTRACT

The field of Natural Language Processing (NLP) is currently undergoing a revolutionary transformation driven by the power of pre-trained Large Language Models (LLMs) based on groundbreaking Transformer architectures. As the frequency and diversity of cybersecurity attacks continue to rise, the importance of incident detection has significantly increased. IoT devices are expanding rapidly, resulting in a growing need for efficient techniques to autonomously identify network-based attacks in IoT networks with both high precision and minimal computational requirements. This paper presents SecurityBERT, a novel architecture that leverages the Bidirectional Encoder Representations from Transformers (BERT) model for cyber threat detection in IoT networks. During the training of SecurityBERT, we incorporated a novel privacy-preserving encoding technique called Privacy-Preserving Fixed-Length Encoding (PPFLE). We effectively represented network traffic data in a structured format by combining PPFLE with the Byte-level Byte-Pair Encoder (BBPE) Tokenizer. Our research demonstrates that SecurityBERT outperforms traditional Machine Learning (ML) and Deep Learning (DL) methods, such as Convolutional Neural Networks (CNNs) or Recurrent Neural Networks (RNNs), in cyber threat detection. Employing the Edge-IIoTset cybersecurity dataset, our experimental analysis shows that SecurityBERT achieved an impressive 98.2% overall accuracy in identifying fourteen distinct attack types, surpassing previous records set by hybrid solutions such as GAN-Transformer-based architectures and CNN-LSTM models. With an inference time of less than 0.15 seconds on an average CPU and a compact model size of just 16.7MB, SecurityBERT is ideally suited for real-life traffic analysis and a suitable choice for deployment on resource-constrained IoT devices.

研究の動機と目的

• IoT/IIoT のリソース制約の中で、正確なサイバー脅威検出の必要性に対応する。
• ネットワークトラフィックデータを NLP モデルで処理可能にする、プライバシー保護型データエンコーディングを開発する。
• デバイス上またはエッジ展開に適した軽量な BERT ベースのアーキテクチャを作成する。
• 現実的な IoT/IIoT データセット上で、従来の ML/DL 手法に対して優れた性能を示す。

提案手法

• ネットワーク特徴をテキスト風の表現に変換するための Privacy-Preserving Fixed-Length Encoding (PPFLE) を導入する。
• エンコードされたデータを transforme rs で処理するために PPFLE と Byte-level BBPE tokenizer を組み合わせる。
• PPFLE でエンコードされたデータ上で事前学習された 15-layer、11M パラメータの SecurityBERT モデルを設計する。
• 自己注意機構を持つトランスフォーマーエンコーダを用いて、マルチクラスの脅威分類のための文脈表現を適用する。
• Edge-IIoTset データセット上で評価を行い、CNNs および LLM ベースのアプローチと比較する。

実験結果

リサーチクエスチョン

• RQ1 プライバシー保護型の固定長エンコーディング方式は、IoT/IIoT トラフィック上で BERT ベースのサイバー脅威検出を効果的に可能にするか。
• RQ2 PPFLE-BBPE を用いた軽量な BERT アーキテクチャは、エッジデバイス上で伝統的な ML/DL モデルより高い精度を達成するか。
• RQ3 SecurityBERT の推論時間とメモリ要件は、リアルタイムのトラフィック分析のために、一般的な CPU/GPU ハードウェアでどの程度か。

主な発見

• SecurityBERT は Edge-IIoTset の 14 種類の攻撃に対して全体精度 98.2% を達成する。
• 推論時間は平均 CPU ハードウェア上で 0.15 秒未満。
• モデルサイズは 16.7 MB、11M パラメータで、リソース制約デバイスに適する。
• PPFLE エンコード + BBPE トークナイザーは、CNN や LSTM ベースのモデルを含む従来の ML および DL ベースラインを上回る。
• このアプローチは、生のネットワークデータではなくハッシュ化されたテキスト表現を使用することでプライバシーを維持する。