[논문 리뷰] Revolutionizing Cyber Threat Detection with Large Language Models: A privacy-preserving BERT-based Lightweight Model for IoT/IIoT Devices

Mohamed Amine Ferrag, Mthandazo Ndhlovu외 5명|arXiv (Cornell University)|2023. 06. 25.

Network Security and Intrusion Detection인용 수 22

한 줄 요약

SecurityBERT는 자원 제약 기기에서 높은 정확도와 빠른 추론을 제공하기 위해 PPFLLE 인코딩과 BBPE를 사용하는 IoT/IIoT 사이버 위협 탐지를 위한 프라이버시 보호 경량 15계층 BERT 기반 모델이다.

ABSTRACT

The field of Natural Language Processing (NLP) is currently undergoing a revolutionary transformation driven by the power of pre-trained Large Language Models (LLMs) based on groundbreaking Transformer architectures. As the frequency and diversity of cybersecurity attacks continue to rise, the importance of incident detection has significantly increased. IoT devices are expanding rapidly, resulting in a growing need for efficient techniques to autonomously identify network-based attacks in IoT networks with both high precision and minimal computational requirements. This paper presents SecurityBERT, a novel architecture that leverages the Bidirectional Encoder Representations from Transformers (BERT) model for cyber threat detection in IoT networks. During the training of SecurityBERT, we incorporated a novel privacy-preserving encoding technique called Privacy-Preserving Fixed-Length Encoding (PPFLE). We effectively represented network traffic data in a structured format by combining PPFLE with the Byte-level Byte-Pair Encoder (BBPE) Tokenizer. Our research demonstrates that SecurityBERT outperforms traditional Machine Learning (ML) and Deep Learning (DL) methods, such as Convolutional Neural Networks (CNNs) or Recurrent Neural Networks (RNNs), in cyber threat detection. Employing the Edge-IIoTset cybersecurity dataset, our experimental analysis shows that SecurityBERT achieved an impressive 98.2% overall accuracy in identifying fourteen distinct attack types, surpassing previous records set by hybrid solutions such as GAN-Transformer-based architectures and CNN-LSTM models. With an inference time of less than 0.15 seconds on an average CPU and a compact model size of just 16.7MB, SecurityBERT is ideally suited for real-life traffic analysis and a suitable choice for deployment on resource-constrained IoT devices.

연구 동기 및 목표

• 제약이 있는 IoT/IIoT에서 정확한 사이버 위협 탐지 필요성에 대응한다.
• 네트워크 트래픽 데이터에서 NLP 모델을 가능하게 하는 프라이버시 보호 데이터 인코딩을 개발한다.
• 온-디바이스 또는 엣지 배치를 위한 경량 BERT 기반 아키텍처를 만든다.
• 현실적인 IoT/IIoT 데이터셋에서 전통적인 ML/DL 방법에 비해 우수한 성능을 시연한다.

제안 방법

• 네트워크 특징을 텍스트와 유사한 표현으로 변환하기 위해 프라이버시 보호 고정 길이 인코딩(PPFLE)을 도입한다.
• 인코딩된 데이터를 트랜스포머로 처리하기 위해 PPFLE와 바이트 수준 BPE(BBPE) 토크나이저를 결합한다.
• PPFLE-인코딩 데이터에 사전 학습된 15계층, 11M 매개변수의 SecurityBERT 모델을 설계한다.
• 다중 클래스 위협 분류를 위해 셀프 어텐션이 있는 트랜스포머 인코더를 통해 컨텍스추얼 표현을 적용한다.
• Edge-IIoTset 데이터셋에서 평가하고 CNN 및 LLM 기반 접근법과 비교한다.

실험 결과

연구 질문

• RQ1 프라이버시 보호 고정 길이 인코딩 방식이 IoT/IIoT 트래픽에서 효과적인 BERT 기반 사이버 위협 탐지를 가능하게 할까?
• RQ2 PPFLE-BBPE를 사용하는 경량 BERT 아키텍처가 엣지 디바이스에서 전통적인 ML/DL 모델보다 더 높은 정확도를 달성할까?
• RQ3 실시간 트래픽 분석을 위한 일반적인 CPU/GPU 하드웨어에서 SecurityBERT의 추론 시간과 메모리 요구사항은 어느 정도인가?

주요 결과

• SecurityBERT는 Edge-IIoTset에서 14개 공격 유형에 걸쳐 전체 정확도 98.2%를 달성한다.
• 추론 시간은 평균 CPU 하드웨어에서 0.15초 미만이다.
• 매개변수 11M, 모델 크기 16.7 MB로 자원 제약 기기에 적합하다.
• PPFLE 인코딩 + BBPE 토크나이저는 CNN 및 LSTM 기반 모델을 포함한 전통적인 ML 및 DL 베이스라인을 능가한다.
• 이 방법은 원시 네트워크 데이터가 아닌 해시된 텍스트 표현을 사용해 프라이버시를 유지한다.