[論文レビュー] Correlation-Aware Neural Networks for DDoS Attack Detection In IoT Systems

Arvin Hekmati, Nishant Jethwa+2 more|arXiv (Cornell University)|Feb 15, 2023

Network Security and Intrusion Detection被引用数 5

ひとこと要約

本論文は、悪意あるトラフィックを模倣して検出を回避するような高度なDDoS攻撃を、IoTシステムで検出するための相関を考慮したニューラルネットワークアーキテクチャを提案する。LSTMおよびトランスフォーマー・モデルをノード間の相関情報と組み合わせることで、非相関モデルに比べて顕著に優れた性能を達成し、特に隠蔽攻撃下でも81%のF1スコアを達成した。

ABSTRACT

We present a comprehensive study on applying machine learning to detect distributed Denial of service (DDoS) attacks using large-scale Internet of Things (IoT) systems. While prior works and existing DDoS attacks have largely focused on individual nodes transmitting packets at a high volume, we investigate more sophisticated futuristic attacks that use large numbers of IoT devices and camouflage their attack by having each node transmit at a volume typical of benign traffic. We introduce new correlation-aware architectures that take into account the correlation of traffic across IoT nodes, and we also compare the effectiveness of centralized and distributed detection models. We extensively analyze the proposed architectures by evaluating five different neural network models trained on a dataset derived from a 4060-node real-world IoT system. We observe that long short-term memory (LSTM) and a transformer-based model, in conjunction with the architectures that use correlation information of the IoT nodes, provide higher performance (in terms of F1 score and binary accuracy) than the other models and architectures, especially when the attacker camouflages itself by following benign traffic distribution on each transmitting node. For instance, by using the LSTM model, the distributed correlation-aware architecture gives 81% F1 score for the attacker that camouflages their attack with benign traffic as compared to 35% for the architecture that does not use correlation information. We also investigate the performance of heuristics for selecting a subset of nodes to share their data for correlation-aware architectures to meet resource constraints.

研究の動機と目的

• 攻撃者が数千台の改ざん済みデバイスを用いて標的をフラッドする大規模なIoTシステムにおけるDDoS攻撃の増加する脅威に対処する。
• 従来の検出手法が高流量のピークに依存するという限界を克服し、静かで隠蔽された攻撃に対して効果を発揮しないことに対処する。
• 個々のノードの動作ではなく、ノード間のトラフィックパターンを分析することで攻撃を検出する、相関を考慮したニューラルネットワークアーキテクチャを開発する。
• 最適なノードサブセットを特定することで、検出性能とリソース制約のトレードオフを評価する。
• 攻撃者が通常のトラフィック行動を模倣する場合に、相関を考慮したモデルが検出精度を顕著に向上させることを示す。

提案手法

• 実世界の4060ノードのIoTデータセットを用い、切り捨てられたコーシー分布を用いて悪意あるトラフィックとDDoSトラフィックをエミュレートすることで、現実的な攻撃パターンを再現する。
• 4つの新しいニューラルネットワークアーキテクチャを設計：MM-WC（中央集権的で相関あり）、MM-NC（中央集権的で相関なし）、OM-WC（分散型で相関あり）、OM-NC（分散型で相関なし）。
• これらのアーキテクチャ上で、MLP、CNN、LSTM、トランスフォーマー（TRF）、オートエンコーダー（AEN）の5つのニューラルネットワークモデルを訓練および評価し、性能差を評価する。
• ピアソン相関、SHAP、最近傍法、およびランダム選択のヒューリスティックなノード選択法を適用し、検出精度を維持する最小限のノードサブセットを同定する。
• ピアソン相関を用いてノードをランク付けし、リソース制約下での性能劣化を最小限に抑える、最も情報価値の高いノードサブセットを選択する。
• F1スコア、バイナリ精度、AUC、ROC曲線といった標準指標を用いて、攻撃強度の変動（パrameter kでパrameter化）に応じたモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 個々のノードを独立して分析する従来のモデルに比べ、相関を考慮したニューラルネットワークアーキテクチャは、DDoS攻撃をより効果的に検出できるか？
• RQ2 LSTM、トランスフォーマーなどの異なるニューラルネットワークモデルの性能は、相関を考慮したアーキテクチャと非相関アーキテクチャでどのように変化するか？
• RQ3 ノードのサブセットのみを用いて相関分析を行う場合の影響は何か？また、どのヒューリスティックなノード選択法が検出性能を最もよく維持するか？
• RQ4 各ノードが通常のトラフィックと区別できない量のトラフィックを送信する隠蔽DDoS攻撃において、相関を考慮したモデルはどの程度効果的か？
• RQ5 分散型検出アーキテクチャは、中央システムの通信および計算負荷を軽減しながらも、高い性能を維持できるか？

主な発見

• LSTMモデルがMM-WC（中央集権的で相関あり）アーキテクチャを用いることで、隠蔽DDoS攻撃の検出で81%のF1スコアを達成したのに対し、非相関アーキテクチャ版ではわずか35%にとどまった。
• トランスフォーマー（TRF）ベースのモデルとOM-WC（分散型で相関あり）アーキテクチャを組み合わせた場合も、他のモデル・アーキテクチャの組み合わせを上回る優れた性能を示した。
• ピアソン相関を用いてトレーニング用のノードサブセットを選択することで、全ノードを使用した場合に比べ、F1スコアの劣化を最大5%まで抑えることができ、SHAPや最近傍法よりも優れた性能を示した。
• リソース制約下でも、ノードのサブセットからの相関データを用いることで、相関を考慮したモデルの性能はわずかに低下する（最大5%まで）ことが示され、リソース制約下でのスケーラビリティが裏付けられた。
• 最近傍法によるノード選択のヒューリスティックは、他のすべての方法よりも最も性能が低く、近接性に基づく選択ではなく、統計的相関の重要性が浮き彫りになった。
• 提案された相関を考慮したモデルは、信号が弱く、隠蔽された攻撃状況において顕著に検出性能を向上させた。従来の手法は、体積ベースの異常がないため、このような状況では機能しなかった。