[논문 리뷰] A Modern Analysis of Aging Machine Learning Based IoT Cybersecurity Methods

Sam Strecker, Rushit Dave외 2명|arXiv (Cornell University)|2021. 10. 15.

IoT and Edge/Fog Computing참고 문헌 15인용 수 4

한 줄 요약

이 연구는 2018–2019년 기간의 Aposemat IoT-23 데이터셋을 사용하여 IoT 시스템에서 침입 및 악성코드 탐지에 대한 세 가지 기계학습 모델—Random Forest (RF), Support Vector Machine (SVM), K-Nearest Neighbor (KNN)—의 성능을 평가한다. RF는 침입 탐지 시 92.96%, 악성코드 탐지 시 92.27%의 최고 정확도를 기록하여, 모델 노후화 우려에도 불구하고 현재의 IoT 정보보안 환경에서 강력한 효과를 보였다.

ABSTRACT

Modern scientific advancements often contribute to the introduction and refinement of never-before-seen technologies. This can be quite the task for humans to maintain and monitor and as a result, our society has become reliant on machine learning to assist in this task. With new technology comes new methods and thus new ways to circumvent existing cyber security measures. This study examines the effectiveness of three distinct Internet of Things cyber security algorithms currently used in industry today for malware and intrusion detection: Random Forest (RF), Support-Vector Machine (SVM), and K-Nearest Neighbor (KNN). Each algorithm was trained and tested on the Aposemat IoT-23 dataset which was published in January 2020 with the earliest of captures from 2018 and latest from 2019. The RF, SVM, and KNN reached peak accuracies of 92.96%, 86.23%, and 91.48%, respectively, in intrusion detection and 92.27%, 83.52%, and 89.80% in malware detection. It was found all three algorithms are capable of being effectively utilized for the current landscape of IoT cyber security in 2021.

연구 동기 및 목표

• 사용된 지 오래된 모델임에도 불구하고 널리 사용되는 기계학습 모델의 현재 정보보안 분야에서의 효과성을 평가하기 위해.
• 2018–2019년 기간을 포함하는 현대적이고 대표적인 IoT 데이터셋(Aposemat IoT-23)에서 RF, SVM, KNN의 성능을 평가하기 위해.
• 이러한 오래된 기계학습 모델이 현재의 IoT 환경에서 실시간 침입 및 악성코드 탐지에 여전히 유용한지 여부를 확인하기 위해.
• 산업용 IoT 보안 응용 분야에서의 모델 선택을 위한 실증적 기준을 제공하기 위해.

제안 방법

• 연구는 2018년에서 2019년까지의 데이터를 포함하는 최근에 발표된 IoT 네트워크 트래픽 기준 데이터셋인 Aposemat IoT-23 데이터셋을 활용한다.
• Random Forest (RF), Support Vector Machine (SVM), K-Nearest Neighbor (KNN)의 세 가지 고전적 기계학습 모델을 데이터셋에 대해 학습 및 테스트한다.
• 모델 학습 및 평가 과정은 표준 교차 검증 및 성능 평가 지표 프로토콜을 따르며, 정확도, 정밀도, 재현율을 포함한다.
• 모델은 침입 탐지 및 악성코드 탐지의 두 가지 작업으로 별도로 평가된다.
• 모든 세 알고리즘의 성능 최적화를 위해 초모수 튜닝이 적용된다.
• 성능는 주로 정확도를 기준으로 측정되며, 두 탐지 작업에 대한 결과가 보고된다.

실험 결과

연구 질문

• RQ1 최근 데이터셋을 사용하여 오래된 기계학습 모델(RF, SVM, KNN)이 현대적 IoT 침입 및 악성코드 탐지에 얼마나 효과적인가?
• RQ2 Aposemat IoT-23 데이터셋에서 RF, SVM, KNN의 탐지 정확도 측면에서의 상대적 성능은 어떠한가?
• RQ3 이러한 기존 모델들이 널리 사용되고 있으며 오래되었음에도 불구하고 현재의 IoT 정보보안 응용 분야에서 여전히 유용한가?
• RQ4 이 모델들은 2018–2019년 기간의 실제 IoT 네트워크 트래픽 패턴에 잘 일반화되는가?
• RQ5 세 모델 간의 해석 가능성, 학습 복잡도, 정확도 사이의 성능 트레이드오프는 어떠한가?

주요 결과

• Random Forest (RF)는 침입 탐지에서 92.96%의 최고 정확도를 기록하여 SVM 및 KNN을 모두 앞섰다.
• 악성코드 탐지에서는 RF가 92.27%의 정확도를 기록하여 다시 한 번 세 모델 중에서 가장 높은 성능를 보였다.
• SVM은 침입 탐지에서 86.23%의 정확도, 악성코드 탐지에서는 83.52%의 정확도를 기록하여 중간 수준의 성능를 보였다.
• KNN은 침입 탐지에서 91.48%의 정확도, 악성코드 탐지에서는 89.80%의 정확도를 기록하여 높은 성능를 보였지만 RF에 비해 略로 낮았다.
• 세 모델 모두 현재의 IoT 정보보안 작업에 실용적인 가능성을 보였으며, 특히 RF가 가장 효과적인 것으로 나타났다.
• 결과적으로 이러한 고전적 기계학습 모델들이 노후화되었음에도 불구하고, 대표적이고 현대적인 데이터셋에 대해 학습된 경우 IoT 위협 탐지에 여전히 효과적이라는 점이 시사된다.