[論文レビュー] Studying the Robustness of Anti-adversarial Federated Learning Models Detecting Cyberattacks in IoT Spectrum Sensors

Pedro Miguel Sánchez Sánchez, Alberto Huertas Celdrán+5 more|arXiv (Cornell University)|Jan 31, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿は、リソース制約のあるIoTスペクトラムセンサーにおけるスペクトラムセンシングデータ改ざん（SSDF）攻撃を検出するための、デバイス行動ファンタムプリントを用いた新しいフェデレーテッドラーニング（FL）フレームワークを提案する。4つのアグリゲーション手法を用いて、データおよびモデル汚染攻撃下でのFLの耐性を評価し、トリムドミーンおよび座標別中央値が耐性を向上させることを示したが、攻撃参加者割合が高くなると、いかなる手法でも完全な耐性を保証できない。プライバシー保護設定では、異常検出が二値分類を上回る性能を示した。

ABSTRACT

Device fingerprinting combined with Machine and Deep Learning (ML/DL) report promising performance when detecting cyberattacks targeting data managed by resource-constrained spectrum sensors. However, the amount of data needed to train models and the privacy concerns of such scenarios limit the applicability of centralized ML/DL-based approaches. Federated learning (FL) addresses these limitations by creating federated and privacy-preserving models. However, FL is vulnerable to malicious participants, and the impact of adversarial attacks on federated models detecting spectrum sensing data falsification (SSDF) attacks on spectrum sensors has not been studied. To address this challenge, the first contribution of this work is the creation of a novel dataset suitable for FL and modeling the behavior (usage of CPU, memory, or file system, among others) of resource-constrained spectrum sensors affected by different SSDF attacks. The second contribution is a pool of experiments analyzing and comparing the robustness of federated models according to i) three families of spectrum sensors, ii) eight SSDF attacks, iii) four scenarios dealing with unsupervised (anomaly detection) and supervised (binary classification) federated models, iv) up to 33% of malicious participants implementing data and model poisoning attacks, and v) four aggregation functions acting as anti-adversarial mechanisms to increase the models robustness.

研究の動機と目的

• リソース制約のあるIoTデバイス、特にスペクトラムセンサーにおける行動ファンタムプリント向けのFL指向のデータセットの不足に対処する。
• 教師あり（二値分類）および教師なし（異常検出）学習を用いた、フェデレーテッドモデルのSSDF攻撃検出性能を評価する。
• 最大33％の悪意ある参加者を想定した状況下で、データおよびモデル汚染攻撃に対するFLモデルの耐性を評価する。
• FedAvg、トリムドミーン、座標別中央値の4つのアグリゲーション関数を比較し、反アドバルシリアンメカニズムとしての有効性を検証する。
• FLが、データプライバシーを保持しつつ、集中型ディープラーニングと同等の検出性能を達成できることを実証する。

提案手法

• 3つのRaspberry Piファミリーを用いて、4台のElectroSenseスペクトラムセンサーの正常動作およびSSDF影響下の動作を記録した、公開可能なデータセットを構築した。
• 2つの正常動作バージョンおよび8つのSSDF攻撃バージェーションにおいて、CPU、メモリ、ネットワーク、ファイルシステムの合計75件の内部システムイベントをモニタリングした。
• 異常検出用2つのシナリオおよび二値分類用2つのシナリオを設計し、プライバシー保護型モデルアグリゲーションを用いたFLを実装した。
• 攻撃緩和のための3つの反アドバルシリアンアグリゲーションメカニズム（FedAvg、トリムドミーン（2つのバージョン）、座標別中央値）を実装した。
• ラベル反転、モデルキャンセリング、ランダムアップロード、データ汚染の4つの攻撃タイプを、最大33％の悪意ある参加者数を想定して評価した。
• F1スコアおよびAUCを指標として用い、FLと集中型DLベースラインとの間で検出性能を比較し、ゼロデイ攻撃検出能力に注目した。

実験結果

リサーチクエスチョン

• RQ1 リソース制約のあるスペクトラムセンサーにおけるSSDF攻撃を検出する際、デバイス行動ファンタムプリントを用いたフェデレーテッドラーニングは、集中型ディープラーニングと同等の検出性能を達成できるか？
• RQ2 最大33％の悪意ある参加者が存在する状況下で、データおよびモデル汚染攻撃に対するフェデレーテッドモデルの耐性はどのように影響を受けるか？
• RQ3 FedAvg、トリムドミーン、座標別中央値のうち、どのアグリゲーション関数が、FLベースのSSDF検出におけるアドバルシリアン攻撃に対して最も効果的な防御を提供するか？
• RQ4 プライバシー保護設定および敵対的状況下において、異常検出は二値分類を上回る耐性および検出精度を示すか？
• RQ5 反アドバルシリアンアグリゲーションメカニズムは、悪意ある更新をどれだけ効果的にフィルタリングできるか、一方で誠実な参加者の寄与の整合性はどの程度保持されるか？

主な発見

• 行動ファンタムプリントを用いたフェデレーテッドラーニングは、特に異常検出シナリオにおいて、集中型ディープラーニングモデルと同等の検出性能を達成する。
• FedAvgアグリゲーション手法は、汚染攻撃下で極めて不安定であり、悪意ある参加者による極端な値がグローバルモデルの平均を著しく歪める。
• トリムドミーンアグリゲーションはFedAvgよりも優れた耐性を示し、一定の攻撃者割合まで極端な値を効果的にフィルタリングするが、特にRPi4デバイスでその効果が顕著である。
• 座標別中央値は極端な値に対して強い耐性を示すが、異種性の高いフェデレーション環境では不安定な性能を示し、とくに攻撃者数が少ない場合に顕著である。
• ラベル反転およびモデルキャンセリング攻撃下では、トリムドミーンおよび座標別中央値はFedAvgに比べて性能劣化を抑制するが、クリーンな学習に比べて依然として顕著な検出精度の低下が生じる。
• 異常検出は、プライバシー制約および敵対的状況下において、二値分類を一貫して上回る性能を示す。これは、ラベルなしでゼロデイ攻撃を検出できる能力に起因する。