[논문 리뷰] Ensemble Learning based Anomaly Detection for IoT Cybersecurity via Bayesian Hyperparameters Sensitivity Analysis

Tin Lai, Farnaz Farid외 2명|arXiv (Cornell University)|2023. 07. 20.

Anomaly Detection Techniques and ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 다양한 네트워크 기능을 활용하여 정확도를 향상시키는 베이지안 하이퍼파라미터 최적화를 통한 앙상블 학습 프레임워크를 제안하여 IoT 사이버보안에서의 이상 탐지에 적용한다. 수많은 하이퍼파라미터 민감도 분석을 통해 트리 기반 모델인 XGBoost와 GBM이 기존 방법보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

The Internet of Things (IoT) integrates more than billions of intelligent devices over the globe with the capability of communicating with other connected devices with little to no human intervention. IoT enables data aggregation and analysis on a large scale to improve life quality in many domains. In particular, data collected by IoT contain a tremendous amount of information for anomaly detection. The heterogeneous nature of IoT is both a challenge and an opportunity for cybersecurity. Traditional approaches in cybersecurity monitoring often require different kinds of data pre-processing and handling for various data types, which might be problematic for datasets that contain heterogeneous features. However, heterogeneous types of network devices can often capture a more diverse set of signals than a single type of device readings, which is particularly useful for anomaly detection. In this paper, we present a comprehensive study on using ensemble machine learning methods for enhancing IoT cybersecurity via anomaly detection. Rather than using one single machine learning model, ensemble learning combines the predictive power from multiple models, enhancing their predictive accuracy in heterogeneous datasets rather than using one single machine learning model. We propose a unified framework with ensemble learning that utilises Bayesian hyperparameter optimisation to adapt to a network environment that contains multiple IoT sensor readings. Experimentally, we illustrate their high predictive power when compared to traditional methods.

연구 동기 및 목표

• 다양한 데이터 유형과 네트워크 기능을 가진 이질적인 IoT 환경에서 다양한 사이버공격을 탐지하는 데 도전하는 것.
• 앙상블 학습을 통해 다수의 기계학습 모델을 결합하여 이상 탐지 성능을 향상시키는 것.
• 베이지안 최적화와 민감도 분석을 활용해 앙상블 모델에서 가장 영향력 있는 하이퍼파라미터를 식별하는 것.
• DDoS, 포트 스캐닝, 악성코드 기반 공격 등을 포함한 다양한 IoT 사이버보안 데이터셋에서 모델의 강건성을 평가하는 것.
• 특정 공격 유형을 나타내는 핵심 네트워크 기능을 규명함으로써 IoT 기기 설계자와 보안 분석가에게 실질적인 통찰을 제공하는 것.

제안 방법

• 이 프레임워크는 이질적인 IoT 데이터에서 예측 성능을 향상시키기 위해 여러 기반 추정기(XGBoost, LightGBM, 랜덤 포레스트 등)를 조합하는 앙상블 학습을 적용한다.
• 모델 설정을 자동으로 최적화하기 위해 베이지안 하이퍼파라미터 최적화를 사용하며, 학습률, 최대 깊이, 서브샘플 비율에 중점을 둔다.
• 개별 하이퍼파라미터가 모델 성능에 미치는 영향을 평가하기 위해 민감도 분석을 적용하여 영향력이 가장 큰 요소를 식별한다.
• 공격 행동을 표현하기 위해 패킷 수, 패킷 플래그 사용(SYN/ACK), 양방향 전송에서의 바이트 크기 등의 네트워크 수준 기능을 추출한다.
• Mirai 기반 DDoS 공격과 맨-in-더-미들(MITM) 시나리오를 포함한 다양한 IoT 이상 탐지 데이터셋에서 모델을 훈련하고 평가한다.
• 데이터 전처리, 하이퍼파라미터 튜닝, 모델 훈련, 성능 평가를 통합하는 일관된 파이프라인을 구축하여 다양한 공격 유형에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 이질적인 데이터셋에서 다양한 IoT 기반 사이버공격을 탐지할 때 어떤 앙상블 기계학습 모델이 가장 높은 정확도와 재현율을 보이는가?
• RQ2 다양한 하이퍼파라미터가 IoT 이상 탐지에서 앙상블 모델의 성능에 어떻게 영향을 미치는가?
• RQ3 DDoS, 포트 스캐닝, 또는 MITM 공격과 같은 특정 공격 유형을 식별하는 데 가장 구분력 있는 네트워크 기능은 무엇인가?
• RQ4 기본 설정 대비 베이지안 하이퍼파라미터 최적화가 모델 일반화 및 강건성 향상에 얼마나 기여하는가?
• RQ5 모델 성능에 크게 영향을 주는 핵심 하이퍼파라미터는 무엇이며, 이를 바탕으로 최적의 성능을 얻기 위한 타겟 튜닝이 가능할까?

주요 결과

• 트리 기반 부스팅 모델인 XGBoost와 기울기 부스팅 기반 머신(GBM)은 다양한 IoT 이상 탐지 데이터셋에서 일관되게 가장 높은 정확도와 재현율을 기록한다.
• 민감도 분석 결과, 학습률, 최대 깊이, 서브샘플 비율 등 소수의 하이퍼파라미터만이 모델 성능에 결정적인 영향을 미친다.
• 베이지안 하이퍼파라미터 최적화는 표준 그리드 서치나 무작위 서치 대비 훨씬 높은 효율성과 최종 정확도를 보이며 모델 일반화 능력을 크게 향상시킨다.
• 특정 TCP 플래그(SYN/ACK)를 가진 패킷 수, 양방향 전송에서의 바이트 크기, 흐름 속도 등의 네트워크 기능은 DDoS, 포트 스캐닝, 브루트 포스 공격 등의 공격 유형을 식별하는 데 매우 구분력이 있다.
• 시간 시리즈 및 흐름 기반 네트워크 기능을 활용하여 분산 Mirai 봇넷 활동과 같은 복잡한 공격 패tern을 성공적으로 탐지한다.
• 이 연구는 특정 공격 서명을 기반으로 보안 전문가와 기기 설계자가 더 견고한 IoT 모니터링 시스템을 구축할 수 있도록 실질적인 기능 세트를 제공한다.