[論文レビュー] A Modern Analysis of Aging Machine Learning Based IoT Cybersecurity Methods

Sam Strecker, Rushit Dave+2 more|arXiv (Cornell University)|Oct 15, 2021

IoT and Edge/Fog Computing参考文献 15被引用数 4

ひとこと要約

本研究では、2018–2019年のAposemat IoT-23データセットを用いて、IoTシステムにおける不正アクセスおよびマルウェア検出のための3つの機械学習モデル—ランダムフォレスト（RF）、サポートベクターマシン（SVM）、K近傍法（KNN）—の性能を評価している。RFは不正アクセス検出で92.96%、マルウェア検出で92.27%の最高精度を達成し、モデルの古さに関する懸念があるものの、現在のIoTセキュリティ環境において強力な有効性を示している。

ABSTRACT

Modern scientific advancements often contribute to the introduction and refinement of never-before-seen technologies. This can be quite the task for humans to maintain and monitor and as a result, our society has become reliant on machine learning to assist in this task. With new technology comes new methods and thus new ways to circumvent existing cyber security measures. This study examines the effectiveness of three distinct Internet of Things cyber security algorithms currently used in industry today for malware and intrusion detection: Random Forest (RF), Support-Vector Machine (SVM), and K-Nearest Neighbor (KNN). Each algorithm was trained and tested on the Aposemat IoT-23 dataset which was published in January 2020 with the earliest of captures from 2018 and latest from 2019. The RF, SVM, and KNN reached peak accuracies of 92.96%, 86.23%, and 91.48%, respectively, in intrusion detection and 92.27%, 83.52%, and 89.80% in malware detection. It was found all three algorithms are capable of being effectively utilized for the current landscape of IoT cyber security in 2021.

研究の動機と目的

• 広く使用されている機械学習モデルの現在の有効性を、その古さに関係なく評価すること。
• 2018–2019年にわたり、現代的で代表的なIoTデータセット（Aposemat IoT-23）を用いて、RF、SVM、KNNの性能を評価すること。
• これらの古くなったMLモデルが、現代のIoT環境におけるリアルタイムの不正アクセスおよびマルウェア検出に依然として実用的であるかどうかを特定すること。
• 産業用IoTセキュリティアプリケーションにおけるモデル選定のための実証的ベンチマークを提供すること。

提案手法

• 本研究では、2018年から2019年までのデータをカバーする、最近公開されたIoTネットワークトラフィックのベンチマークであるAposemat IoT-23データセットを採用している。
• ランダムフォレスト（RF）、サポートベクターマシン（SVM）、K近傍法（KNN）の3つの古典的機械学習モデルを、このデータセット上で訓練および評価している。
• モデルの訓練および評価は、標準的な交差検証およびパフォーマンス指標プロトコルに従い、正確性、適合率、再現率を含む。
• モデルは、不正アクセス検出およびマルウェア検出の2つのタスクに別々に評価している。
• 全3アルゴリズムの性能最適化のため、ハイパーパramータチューニングが適用されている。
• パフォーマンスは主に正確性を指標として定量され、両方の検出タスクの結果が報告されている。

実験結果

リサーチクエスチョン

• RQ1 古くなった機械学習モデル（RF、SVM、KNN）は、最近のデータセットを用いて、現代のIoT不正アクセスおよびマルウェア検出にどの程度効果的か？
• RQ2 Aposemat IoT-23データセットにおいて、RF、SVM、KNNの検出正確性の比較的性能はいかほどか？
• RQ3 これらの確立されたモデルは、古さや広範な使用にもかかわらず、現在のIoTセキュリティ応用に依然として実用的であるか？
• RQ4 これらのモデルは、2018–2019年の実世界のIoTネットワークトラフィックパターンにうまく一般化できるか？
• RQ5 3つのモデル間で、解釈可能性、訓練の複雑さ、正確性の間のパフォーマンスのトレードオフは何か？

主な発見

• ランダムフォレスト（RF）は不正アクセス検出で92.96%の最高正確性を達成し、SVMおよびKNNを上回った。
• マルウェア検出においても、RFは92.27%の正確性を達成し、3モデル中最も高い水準であった。
• SVMは不正アクセス検出で86.23%、マルウェア検出で83.52%の正確性を記録し、中程度のパフォーマンスを示した。
• KNNは不正アクセス検出で91.48%、マルウェア検出で89.80%の正確性を達成し、RFに次いで高いがわずかに低い性能を示した。
• 3モデルすべてが、現在のIoTセキュリティタスクにおいて実用的であることが示されたが、RFが最も効果的であると判明した。
• 結果から、これらの古典的MLモデルは、代表的で現代的なデータセットで訓練された場合、その古さに関係なくIoT脅威検出に依然として有効であると考えられる。