[論文レビュー] Gotham Testbed: a Reproducible IoT Testbed for Security Experiments and Dataset Generation

Xabier Sáez-de-Cámara, José Luis Flores+3 more|arXiv (Cornell University)|Jul 28, 2022

Network Security and Intrusion Detection被引用数 5

ひとこと要約

本論文は、MQTT、CoAP、RTSPプロトコルを用いて30スイッチおよび10ルーターを介して100デバイスのリアルなネットワークをエミュレートする、再現可能で拡張可能なIoTセキュリティテストベッド「Gotham Testbed」を紹介する。このテストベッドは、完全なMiraiボットネットのライフサイクルや赤チームツールを含む進化する脅威をシミュレートすることで、機械学習ベースの不正検知に適した最新で代表的なデータセットを動的に生成可能であり、文書化された設定とモジュラー設計により再現性を確保する。

ABSTRACT

The growing adoption of the Internet of Things (IoT) has brought a significant increase in attacks targeting those devices. Machine learning (ML) methods have shown promising results for intrusion detection; however, the scarcity of IoT datasets remains a limiting factor in developing ML-based security systems for IoT scenarios. Static datasets get outdated due to evolving IoT architectures and threat landscape; meanwhile, the testbeds used to generate them are rarely published. This paper presents the Gotham testbed, a reproducible and flexible security testbed extendable to accommodate new emulated devices, services or attackers. Gotham is used to build an IoT scenario composed of 100 emulated devices communicating via MQTT, CoAP and RTSP protocols, among others, in a topology composed of 30 switches and 10 routers. The scenario presents three threat actors, including the entire Mirai botnet lifecycle and additional red-teaming tools performing DoS, scanning, and attacks targeting IoT protocols. The testbed has many purposes, including a cyber range, testing security solutions, and capturing network and application data to generate datasets. We hope that researchers can leverage and adapt Gotham to include other devices, state-of-the-art attacks and topologies to share scenarios and datasets that reflect the current IoT settings and threat landscape.

研究の動機と目的

• IoTセキュリティ研究における最新で代表的な公開データセットの不足を解消するため、動的データセット生成を可能にする再現可能なテストベッドを提供すること。
• 進化するIoTアーキテクチャと脅威環境の影響で陳腐化する静的データセットの限界を克服すること。
• 研究者がデータセットだけでなく、完全なテストベッドの設定とトポロジーを共有することにより、セキュリティ実験の再現、適合、拡張を可能にすること。
• 機械学習モデルのIoT不正検知の開発と評価を、現実的でスケーラブルで拡張可能なエミュレーション環境を通じて支援すること。
• 学術的研究と実運用環境とのギャップを縮小するため、現在のIoTネットワーク設定と攻撃パターンを反映するテストベッドを提供すること。

提案手法

• Gotham Testbedは、GNS3とDockerを活用して、100デバイス、30スイッチ、10ルーターを備えた複雑なIoTネットワークをエミュレートする。MQTT、CoAP、RTSPなどのプロトコルをサポートする。
• 完全なMiraiボットネットのライフサイクルに加え、DoS攻撃、スキャン、プロトコル固有の攻撃を実行する赤チームツールを含む3つの脅威行動者を統合する。
• ネットワークリンクの特性を動的に変更するシナリオジェネレータスクリプトを用い、時間経過に伴うネットワーク品質の変化をシミュレートする。
• ノードはモularityと再現可能性を考慮して設計されており、最小限の設定変更で異なるシナリオに再利用可能である。
• テストベッドは、実世界のIoT展開のデジタルツインの作成を可能とし、セキュリティソリューションやフェデレーテッドラーニングなどの分散型機械学習手法の評価を可能にする。
• セキュリティ強化策として、悪意あるマルウェアノードを隔離するため、特権付きDockerコンテナの代わりにQEMUベースのVMの使用を推奨する。

実験結果

リサーチクエスチョン

• RQ1 機械学習ベースの不正検知に適した動的データセット生成を支援する再現可能で拡張可能なIoTテストベッドをどのように設計できるか？
• RQ2 テストベッドは、完全なボットネットライフサイクルを含む、現実のIoTネットワークトポロジーや進化する攻撃パターンをどの程度正確にエミュレートできるか？
• RQ3 設定可能でモジュラーかつ文書化が整ったテストベッドコンponentsの統合は、セキュリティ実験の再現性と適合性をどの程度向上させるか？
• RQ4 ネットワークレベルおよびアプリケーションレベルの両方のデータ収集をサポートするテストベッドは、静的公開データセットと比較して、より代表的で最新のデータセットの作成を可能にするか？
• RQ5 未知または悪意ある可能性のあるマルウェアバイナリをエミュレーション環境に安全に統合する際の実用的考慮事項は何か？

主な発見

• Gotham Testbedは、100台のエミュレートされたデバイス、30台のスイッチ、10台のルーターを備えた現実的なIoT環境を正常にエミュレートした。MQTT、CoAP、RTSPなどの複数の通信プロトコルをサポートする。
• テストベッドは包括的なネットワークおよびアプリケーションレベルのトレースを収集でき、機械学習モデルのトレーニングと評価に適した動的でシナリオ固有のデータセットの生成を可能にする。
• 完全なMiraiボットネットライフサイクルと追加の赤チームツールの統合により、静的データセットに多くが欠落している進化する現実の攻撃パターンのシミュレーションが可能である。
• テストベッドのモジュラーかつ文書化が整った設計により、再現性が確保され、研究者が新しいデバイス、攻撃、トポロジーに対応するための設定変更を最小限に抑えながら、設定の適合と拡張が可能になる。
• フェデレーテッドラーニングなどの高度なユースケースを支援するため、異なるネットワークリンクでのデータ収集を可能とし、IoT環境における分散型モデルトレーニングを促進する。
• 著者らは、単にデータセットを共有するのではなく、テストベッドインfra構造そのものを共有することで、再現性が著しく向上し、学術的研究と運用環境とのギャップが縮小されることを実証した。