[論文レビュー] Clustering Algorithm to Detect Adversaries in Federated Learning

Krishna Yadav, Brij B. Gupta|arXiv (Cornell University)|Feb 22, 2021

Privacy-Preserving Technologies in Data参考文献 7被引用数 4

ひとこと要約

本論文は、IoTシステムにおけるフェデレーテッドラーニングのための軽量なクラスタリングベースの手法を提案し、悪意あるクライアントを検出する。クライアント側の計算や高帯域幅を必要とせず、クライアントの勾配を分析することで、40%のクライアントが敵対的であっても最大99%のグローバルモデル精度を達成し、リソース制限のあるデバイスにおいても堅牢性と実用性を確保する。

ABSTRACT

In recent times, federated machine learning has been very useful in building intelligent intrusion detection systems for IoT devices. As IoT devices are equipped with a security architecture vulnerable to various attacks, these security loopholes may bring a risk during federated training of decentralized IoT devices. Adversaries can take control over these IoT devices and inject false gradients to degrade the global model performance. In this paper, we have proposed an approach that detects the adversaries with the help of a clustering algorithm. After clustering, it further rewards the clients for detecting honest and malicious clients. Our proposed gradient filtration approach does not require any processing power from the client-side and does not use excessive bandwidth, making it very much feasible for IoT devices. Further, our approach has been very successful in boosting the global model accuracy, up to 99% even in the presence of 40% adversaries.

研究の動機と目的

• 敵対的クライアントが誤った勾配を注入する可能性があるIoT環境におけるフェデレーテッドラーニングの脆弱性に対処すること。
• リソース制限のあるIoTデバイスに計算負荷や帯域幅の追加負担をかけずに、悪意あるクライアントを検出すること。
• 悪意ある更新を特定・フィルタリングすることで、敵対的比率が高い状況下でもグローバルモデルの精度を向上させること。
• 分散型でプライバシー保護が可能なIoTアプリケーションに適したスケーラブルで効率的な防御メカニズムを設計すること。

提案手法

• クライアントの更新を勾配の類似性に基づいてクラスタリングするアルゴリズムを用い、外れ値として潜在的な敵対的クライアントを特定する。
• この手法はサーバー側でのみ動作し、クライアント側に追加の処理や通信のオーバーヘッドを生じさせない。
• クライアントはクラスタリング行動に基づいてランク付けされ報酬が与えられ、誠実な参加を促進する。
• クラスタリング後に勾配フィルタリングを適用し、グローバルモデルの集約前に悪意ある更新を除外する。
• モデルの再訓練や複雑な暗号技術を一切使用しないため、計算コストが低く抑えられる。
• 本手法は下位の機械学習モデルに依存せず、さまざまなフェデレーテッドラーニングフレームワークと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 クライアント側の計算や高帯域幅の使用を要件とせず、クラスタリングベースの手法でフェデレーテッドラーニングにおける悪意あるクライアントを検出可能か？
• RQ2 最大40%のクライアントが敵対的であっても、提案手法がグローバルモデルの精度をどれほど維持できるか？
• RQ3 勾配パターンのみに依存して、クラスタリング機構が誠実なクライアントと悪意あるクライアントを信頼性高く区別できるか？
• RQ4 クラスタリング行動に対する報酬メカニズムが、フェデレーテッドラーニングプロセス全体の信頼性と耐性を向上させるか？

主な発見

• 提案手法は、参加クライアントの40%が敵対的であっても、最大99%のグローバルモデル精度を達成する。
• 防御メカニズムはクライアントデバイスに追加の計算負荷や通信負荷を課さないため、IoT環境への適用に適している。
• クラスタリングベースの検出は、モデルの再訓練や暗号的検証を要せず、勾配パターンの分析のみで悪意あるクライアントを効果的に特定する。
• クラスタリング行動に対する報酬メカニズムは、クライアントの協力体制を強化し、フェデレーテッドラーニングシステム全体の耐性を向上させる。