[논문 리뷰] An accurate IoT Intrusion Detection Framework using Apache Spark

Mohamed Abushwereb, Mouhammd Alkasassbeh외 2명|arXiv (Cornell University)|2022. 02. 21.

Network Security and Intrusion Detection인용 수 6

한 줄 요약

이 논문은 대규모 데이터 워크로드를 효율적으로 처리하기 위해 Apache Spark와 MLlib를 활용한 정확한 IoT 침입 탐지 프레임워크를 제안한다. 부분 데이터셋을 사용하여 이진 분류에서 최대 99.7%의 F1 스코어를 달성하며, 실시간 환경에서 IoT 사이버 위협을 탐지하는 데 뛰어난 성능을 보여준다.

ABSTRACT

The internet has caused tremendous changes since its appearance in the 1980s, and now, the Internet of Things (IoT) seems to be doing the same. The potential of IoT has made it the center of attention for many people, but, where some see an opportunity to contribute, others may see IoT networks as a target to be exploited. The high number of IoT devices makes them the perfect setup for staging denial-of-service attacks (DoS) that can have devastating consequences. This renders the need for cybersecurity measures such as intrusion detection systems (IDSs) evident. The aim of this paper is to build an IDS using the big data platform, Apache Spark. Apache Spark was used along with its ML library (MLlib) and the BoT-IoT dataset. The IDS was then tested and evaluated based on F-Measure (f1), as was the standard when evaluating imbalanced data. Two rounds of tests were performed, a partial dataset for minimizing bias, and the full BoT-IoT dataset for exploring big data and ML capabilities in a security setting. For the partial dataset, the Random Forest algorithm had the highest performance for binary classification at an average f1 measure of 99.7%, as well as 99.6% for main category classification, and an 88.5% f1 measure for sub category classification. As for the complete dataset, the Decision Tree algorithm scored the highest f1 measures for all conducted tests; 97.9% for binary classification, 79% for main category classification, and 77% for sub category classification.

연구 동기 및 목표

• 대규모 네트워크에서 취약한 IoT 장치의 증가로 인한 증가하는 보안 위험을 해결하기 위해.
• 대량의 IoT 네트워크 트래픽을 처리할 수 있는 확장성 있고 고성능의 침입 탐지 시스템(IPS)을 개발하기 위해.
• Apache Spark의 분산 컴퓨팅 프레임워크를 활용하여 클래스 불균형이 있는 IoT 침입 탐지 데이터에 대해 기계학습 모델의 효과성을 평가하기 위해.
• 실제 IoT 데이터셋을 기반으로 이진 및 다중 분류 침입 유형을 탐지하는 데 있어 다양한 기계학습 알고리즘의 성능을 비교하기 위해.
• 대규모 데이터 플랫폼인 Apache Spark를 활용하여 IoT 환경에서 실시간이고 정확한 침입 탐지의 가능성을 입증하기 위해.

제안 방법

• 프레임워크는 IoT 네트워크 트래픽 분석을 분산하고 가속화하기 위해 Apache Spark를 대규모 데이터 처리 엔진으로 사용한다.
• Spark의 MLlib 라이브러리를 활용하여 Random Forest 및 결정 트리와 같은 여러 기계학습 모델을 훈련하고 평가한다.
• BoT-IoT 데이터셋은 실제 IoT 네트워크 트래픽을 담고 있으며 다양한 공격 유형을 포함하고 있어 주요 데이터 소스로 사용된다.
• 두 가지 평가 단계를 실시한다: 편향을 최소화하기 위해 부분 데이터셋을 사용하는 단계와 확장성 및 성능을 평가하기 위해 전체 데이터셋을 사용하는 단계.
• 데이터셋의 클래스 불균형으로 인해 F-Measure(F1)이 주요 평가 지표로 사용된다.
• 시스템은 실시간 처리를 지원하도록 설계되어 있어 IoT 네트워크에서 악성 활동을 빠르게 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 Apache Spark는 대규모 IoT 네트워크 트래픽의 확장성 있고 효율적인 처리를 위한 침입 탐지에 얼마나 효과적인가?
• RQ2 BoT-IoT 데이터셋에서 이진 분류(정상 대 공격) 및 다중 분류(주 카테고리 및 하위 카테고리) 침입 유형을 탐지하는 데 있어 어떤 기계학습 알고리즘이 가장 높은 F1 스코어를 기록하는가?
• RQ3 부분 데이터셋과 전체 BoT-IoT 데이터셋 간의 성능 차이를 F1 스코어와 계산 효율성 측면에서 모델 성능은 어떻게 달라지는가?
• RQ4 Apache Spark를 활용한 분산 컴퓨팅은 자원이 제한된 IoT 환경에서 침입 탐지의 정확성과 속도를 얼마나 향상시킬 수 있는가?
• RQ5 IoT 침입 데이터셋에 내재된 클래스 불균형에도 불구하고 제안된 프레임워크는 높은 탐지 정확도를 유지할 수 있는가?

주요 결과

• 부분 데이터셋에서 Random Forest 알고리즘이 이진 분류에 대해 최고의 F1 스코어 99.7%를 기록하여 뛰어난 탐지 정확도를 보였다.
• 주 카테고리 분류에서는 Random Forest가 99.6%의 F1 스코어를 기록하여 주요 공격 유형을 효과적으로 구분하는 강력한 성능을 보였다.
• 하위 카테고리 분류에서는 Random Forest가 88.5%의 F1 스코어를 기록하여 세밀한 공격 변종을 효과적으로 탐지하는 데 성공했다.
• 전체 BoT-IoT 데이터셋에서 Decision Tree 알고리즘이 다른 알고리즘보다 뛰어나 97.9%의 F1 스코어를 기록하여 이진 분류 성능이 뛰어났다.
• 전체 데이터셋의 주 카테고리 분류에서 Decision Tree는 79%의 F1 스코어를 기록했으며, 데이터의 복잡성과 규모로 인해 성능 저하가 발생했다.
• 전체 데이터셋에서의 하위 카테고리 분류에서는 Decision Tree가 77%의 F1 스코어를 기록하여 특정 공격 하위 유형 탐지에 대해 중간 정도의 정확도를 보였다.