[論文レビュー] The Case for Retraining of ML Models for IoT Device Identification at the Edge

Roman Kolcun, Diana Andreea Popescu+6 more|arXiv (Cornell University)|Nov 17, 2020

Internet Traffic Analysis and Secure E-voting参考文献 37被引用数 17

ひとこと要約

本稿では、ローカルネットワークトラフィックデータを用いた正確なIoTデバイス識別のため、エッジベースの再訓練を提案する。家庭固有のデータを用いてオンデバイスでニューラルネットワークモデルを再訓練することで、80%以上のデバイス識別の正確性と90%以上のカテゴリ分類F1スコアを達成し、動的で変化し続ける家庭内IoT環境において、正確性の低下を是正するためには継続的なローカルモデル更新が不可欠であることを示している。

ABSTRACT

Internet-of-Things (IoT) devices are known to be the source of many security problems, and as such they would greatly benefit from automated management. This requires robustly identifying devices so that appropriate network security policies can be applied. We address this challenge by exploring how to accurately identify IoT devices based on their network behavior, using resources available at the edge of the network. In this paper, we compare the accuracy of five different machine learning models (tree-based and neural network-based) for identifying IoT devices by using packet trace data from a large IoT test-bed, showing that all models need to be updated over time to avoid significant degradation in accuracy. In order to effectively update the models, we find that it is necessary to use data gathered from the deployment environment, e.g., the household. We therefore evaluate our approach using hardware resources and data sources representative of those that would be available at the edge of the network, such as in an IoT deployment. We show that updating neural network-based models at the edge is feasible, as they require low computational and memory resources and their structure is amenable to being updated. Our results show that it is possible to achieve device identification and categorization with over 80% and 90% accuracy respectively at the edge.

研究の動機と目的

• 静的で事前に訓練された機械学習モデルが、時間経過とともに精度が低下するという深刻な問題に対処すること。
• 家庭内ネットワーク環境のローカルデータを用いてエッジでモデルを再訓練することで、高い識別正確性を維持できるかどうかを評価すること。
• リソース制限のあるエッジデバイス（例：Raspberry Pi）で機械学習モデルの更新が可能かどうかを検証すること。
• ニューラルネットワークのレイヤーを凍結することで、エッジ再訓練におけるトレーニング速度とモデル正確性に与える影響を評価すること。
• グローバルに訓練されたモデルが異なる家庭間で失敗することを示し、ローカルな適応が不可欠であることを明らかにすること。

提案手法

• 43台のIoTデバイスのパケットトレースデータを用いた大規模なテストベッドで、ランダムフォレスト、ディシジョンツリー、および3種類のニューラルネットワークアーキテクチャを含む5つの機械学習モデルを訓練・評価した。
• 精度の低下を検出するために時間経過に伴う精度の変化をモニタリングし、家庭内展開環境で収集したローカルデータを用いて再訓練を実施した。
• 実際のゲートウェイの制約を模倣するために、Raspberry Pi 4を用いてエッジ再訓練を実装し、計算およびメモリのオーバーヘッドを評価した。
• トレーニングコストを低減するためにニューラルネットワークにレイヤーの凍結を適用し、さまざまな凍結設定における推論正確性への影響を定量的に評価した。
• 同じ家庭からのアクティブなネットワークトラフィックデータを用いてモデルを再訓練し、内部および他家庭のテストセットにおける性能を評価した。
• デバイスおよびカテゴリ分類の性能を評価するために、F1スコアと正確性を主な指標とした。

実験結果

リサーチクエスチョン

• RQ1 IoTデバイス識別用の機械学習モデルは、再訓練を行わずに長期にわたり高い正確性を維持できるか？
• RQ2 グローバルに訓練されたモデルと比較して、家庭固有のネットワークデータを用いた再訓練が、識別正確性を顕著に向上させるか？
• RQ3 リソース制限のあるデバイス（例：Raspberry Pi）を用いてエッジでモデル再訓練が可能か？
• RQ4 ニューラルネットワークのレイヤーを凍結することで、トレーニング時間をどの程度短縮できるか、かつ正確性の低下はどの程度か？
• RQ5 ある家庭で訓練されたモデルは、異なるデバイス構成や使用パターンを持つ他の家庭にどの程度一般化できるか？

主な発見

• 樹木ベースおよびニューラルネットワークベースの5つの評価モデルすべてが、時間経過とともに顕著な正確性の低下を示し、1日後には78%から2週間後には52%に低下した。
• アイドル状態のデータで訓練したモデルは、同じテストベッドのアクティブ状態データに対してはたった30%の正確性にとどまり、別のテストベッドのデータでは15%にまで低下した。
• 家庭内でのアクティブ状態データを用いた再訓練により、同家庭内でのデバイス識別正確性は30%から78%に向上したが、他の家庭ではほとんど向上せず（33%にとどまった）た。
• Raspberry Pi 4を用いたエッジ再訓練は実現可能であり、モデル更新に要する計算リソースおよびメモリリソースは低コストであった。
• ニューラルネットワークのレイヤーを凍結することで、トレーニング時間を66%以上短縮でき、モデル正確性の低下は2%未満にとどまった。
• ローカルデータを用いた再訓練により、デバイスカテゴリ分類のF1スコアは90%以上に達し、ポリシー実行のための高い信頼性が確認された。