[論文レビュー] Detection of Unauthorized IoT Devices Using Machine Learning Techniques

Yair Meidan, Michael Bohadana+5 more|arXiv (Cornell University)|Sep 14, 2017

Network Security and Intrusion Detection参考文献 6被引用数 198

ひとこと要約

この論文は TCP/IP トラフィック特徴に対して Random Forest を用い、不正な IoT デバイスを自動検出し、ホワイトリスト入りのタイプを正しく分類し、20 セッションの移動窓で未知検出約 96%、ホワイトリスト正分類約 99% を達成している。

ABSTRACT

Security experts have demonstrated numerous risks imposed by Internet of Things (IoT) devices on organizations. Due to the widespread adoption of such devices, their diversity, standardization obstacles, and inherent mobility, organizations require an intelligent mechanism capable of automatically detecting suspicious IoT devices connected to their networks. In particular, devices not included in a white list of trustworthy IoT device types (allowed to be used within the organizational premises) should be detected. In this research, Random Forest, a supervised machine learning algorithm, was applied to features extracted from network traffic data with the aim of accurately identifying IoT device types from the white list. To train and evaluate multi-class classifiers, we collected and manually labeled network traffic data from 17 distinct IoT devices, representing nine types of IoT devices. Based on the classification of 20 consecutive sessions and the use of majority rule, IoT device types that are not on the white list were correctly detected as unknown in 96% of test cases (on average), and white listed device types were correctly classified by their actual types in 99% of cases. Some IoT device types were identified quicker than others (e.g., sockets and thermostats were successfully detected within five TCP sessions of connecting to the network). Perfect detection of unauthorized IoT device types was achieved upon analyzing 110 consecutive sessions; perfect classification of white listed types required 346 consecutive sessions, 110 of which resulted in 99.49% accuracy. Further experiments demonstrated the successful applicability of classifiers trained in one location and tested on another. In addition, a discussion is provided regarding the resilience of our machine learning-based IoT white listing method to adversarial attacks.

研究の動機と目的

• 企業向け IoT セキュリティを、ネットワーク上の不正デバイス自動検出で動機づける。
• 専門的なハードウェアを必要とせず、スケーラブルなトラフィックベースのホワイトリスティングシステムを開発する。
• TCP/IP トラフィックデータを用いた機械学習で IoT デバイスタイプの分類を実証する。
• 学術的ラボ間で訓練済みモデルの移行性を示し、敵対的試行に対する頑健性を議論する。

提案手法

• デバイスタイプ識別をラベル付き TCP/IP セッション特徴を用いた多クラス分類問題として扱う。
• ホワイトリスト入りデバイスタイプのセッションから各タイプの事後確率を出力する Random Forest 分類器を訓練する。
• 事後確率に基づきセッションをデバイスタイプまたは未知としてラベル付けする分類閾値 tr を用いる。
• 連続する 20 セッションの移動窓に対する多数決を適用してストリームのデバイスタイプを決定し、頑健性を向上させる。
• 現実世界のデプロイを模擬し過学習を抑制するため、データを時系列に分割して訓練・検証・テストセットとする。
• クラス不均衡に対処するためアンダーサンプリングを行い、検証セットで F1 によって閾値を最適化する。

実験結果

リサーチクエスチョン

• RQ1 企業の実環境で TCP/IP トラフィック特徴は承認済み IoT デバイスタイプを区別できるか？
• RQ2 単一セッションおよび連続セッションの列に基づいて未知（不正） IoT デバイスタイプを「未知」と信頼性高く検出できるか？
• RQ3 セッション列に対する多数決は、承認済みおよび不正デバイスの検出・分類精度を向上させるか？
• RQ4 あるラボで訓練された分類器は別のラボのデータに転移できるか（輸送性）？

主な発見

除外されたデバイスタイプ	セッション数	未知として正しく検出された	ホワイトリスト時の正しく分類の加重平均
baby_monitor	1981	1	1
smoke_detector	104	1	1
socket	1962	1	1
TV	1962	0.84	0.98
refrigerator	1981	0.99	1
thermostat	1981	1	1
motion_sensor	1239	1	0.99
security_camera	1375	0.94	0.99
watch	1111	0.84	0.97

• 未知の IoT デバイスタイプは、移動窓 110 セッションを用いた場合、テストケースの 96% で未知として検出された（要約/セクションで報告の単一段階分析）。
• ホワイトリスト入りデバイスタイプは、20 セッションの多数決でテストセット上、実際のタイプに従って正しく分類されたのは 99% 。
• 九つの実験（ホワイトリストから各デバイスタイプを一つずつ除外）で、未知デバイス検出の平均精度は 96%、ホワイトリストデバイスの分類の平均精度は 99% 。
• 輸送性実験では、ラボ A で訓練された分類器は Lab B で未承認のテレビを 85% の平均精度で検出し、ラボ間での未承認セキュリティカメラの検出では完全な輸送性（100%）を示した。
• 大多数決ステージは全体の性能を大幅に向上させ、ほとんどのデバイス種でテストセットの未承認検出を 96%、ホワイトリスト分類を 99% に引き上げた。