[論文レビュー] Smart IoT Security: Lightweight Machine Learning Techniques for Multi-Class Attack Detection in IoT Networks

Shahran Rahman Alve, Muhammad Zawad Mahmud+3 more|ArXiv.org|Feb 6, 2025

Network Security and Intrusion Detection被引用数 3

ひとこと要約

論文は CICIoT 2023 データを用いたマルチクラス IoT 攻撃検出の軽量アンサンブル機械学習手法を提案し、Decision Tree がトップの性能を示し、99.56% の精度と 99.62% の F1 を達成した。

ABSTRACT

The Internet of Things (IoT) is expanding at an accelerated pace, making it critical to have secure networks to mitigate a variety of cyber threats. This study addresses the limitation of multi-class attack detection of IoT devices and presents new machine learning-based lightweight ensemble methods that exploit its strong machine learning framework. We used a dataset entitled CICIoT 2023, which has a total of 34 different attack types categorized into 10 categories, and methodically assessed the performance of a substantial array of current machine learning techniques in our goal to identify the best-performing algorithmic choice for IoT application protection. In this work, we focus on ML classifier-based methods to address the biocharges presented by the difficult and heterogeneous properties of the attack vectors in IoT ecosystems. The best-performing method was the Decision Tree, achieving 99.56% accuracy and 99.62% F1, indicating this model is capable of detecting threats accurately and reliably. The Random Forest model also performed nearly as well, with an accuracy of 98.22% and an F1 score of 98.24%, indicating that ML methods excel in a scenario of high-dimensional data. These findings emphasize the promise of integrating ML classifiers into the protective defenses of IoT devices and provide motivations for pursuing subsequent studies towards scalable, keystroke-based attack detection frameworks. We think that our approach offers a new avenue for constructing complex machine learning algorithms for low-resource IoT devices that strike a balance between accuracy requirements and time efficiency. In summary, these contributions expand and enhance the knowledge of the current IoT security literature, establishing a solid baseline and framework for smart, adaptive security to be used in IoT environments.

研究の動機と目的

• 多様なサイバー脅威とリソース制約の中で安全な IoT ネットワークを動機づける。
• マルチクラス IoT 侵入検知のための軽量 ML アンサンブル手法を調査する。
• ハイパーパラメータ調整下で最も性能の良い分類器を特定する。
• 34 種類の攻撃タイプを含む CICIoT 2023 データセットで 10 カテゴリを対象にモデルを評価する。

提案手法

• 34 種類の攻撃と 10 カテゴリを含む CICIoT 2023 データセットを利用する。
• 欠損値処理とエンコードを含む前処理を行い、訓練/テストを 80/20 に分割する。
• 5 アルゴリズムを評価する：Random Forest、Decision Tree、K-Nearest Neighbor、Gradient Boosting、AdaBoost。
• GridSearchCV を用いたハイパーパラメータ調整を five-fold cross-validation で適用する。
• 適合率、再現率、F1 スコア、精度を計算し、ROC/AUC および混同行列を分析する。

Figure 1: Workflow diagram of the system

実験結果

リサーチクエスチョン

• RQ1 CICIoT 2023 でのマルチクラス IoT 攻撃検出において、最も高い精度と F1 を提供する軽量 ML 分类器はどれか。
• RQ2 34 種類の攻撃タイプを横断して、古典的 ML モデルの精度、再現率、F1、ROC 指標を比較するとどうなるか。
• RQ3 IoT セキュリティタスクにおけるハイパーパラメータ調整のモデル性能への影響は何か。
• RQ4 低リソースの IoT デバイスは単純なモデルで高精度の侵入検知を実現できるか。

主な発見

Model	Precision	Recall	F1 Score	Accuracy (%)
Random Forest	0.981	0.982	0.982	98.22
Decision Tree	0.997	0.995	0.996	99.56
Gradient Boosting	0.981	0.971	0.982	98.19
AdaBoost	0.972	0.945	0.966	96.26
K-Nearest Neighbor	0.963	0.955	0.962	96.11

• Decision Tree は最高の精度 (99.56%) および F1 (99.62%) を達成。
• Random Forest も高い性能を示し、精度 98.22%、F1 98.24%。
• Gradient Boosting は精度 98.19%、F1 0.982、AdaBoost は 96.26% の精度、KNN は 96.11% の精度。
• Decision Tree の ROC AUC は 1.00、Random Forest は 0.99 であり、識別能力が高いことを示す。
• 先行研究との比較では、提案した DT モデルが CICIoT 2023 データセットで試作されたアプローチの中で最良である。

Figure 2: ROC curve of Decision Tree Classifier