[論文レビュー] Dynamic Federated Learning Model for Identifying Adversarial Clients.

Nuria Rodríguez-Barroso, Eugenio Martínez‐Cámara+4 more|arXiv (Cornell University)|Jul 29, 2020

Privacy-Preserving Technologies in Data参考文献 48被引用数 13

ひとこと要約

この論文では、リアルタイムでのクライアント選択を通じて悪意あるクライアントを特定・除外する動的フェデレーテッドラーニングモデルを提案している。データ分布が悪く、または悪意あるラベルを含むクライアントをフィルタリングすることにより、EMNISTおよびFashion MNISTデータセットにおける分類精度を向上させ、訓練ラウンド数を削減し、データポイズニング攻撃に対しても耐性を持つグローバルモデルのロバスト性を向上させている。

ABSTRACT

Federated learning, as a distributed learning that conducts the training on the local devices without accessing to the training data, is vulnerable to dirty-label data poisoning adversarial attacks. We claim that the federated learning model has to avoid those kind of adversarial attacks through filtering out the clients that manipulate the local data. We propose a dynamic federated learning model that dynamically discards those adversarial clients, which allows to prevent the corruption of the global learning model. We evaluate the dynamic discarding of adversarial clients deploying a deep learning classification model in a federated learning setting, and using the EMNIST Digits and Fashion MNIST image classification datasets. Likewise, we analyse the capacity of detecting clients with poor data distribution and reducing the number of rounds of learning by selecting the clients to aggregate. The results show that the dynamic selection of the clients to aggregate enhances the performance of the global learning model, discards the adversarial and poor clients and reduces the rounds of learning.

研究の動機と目的

• 悪意あるクライアントによる汚染ラベル攻撃に対するフェデレーテッドラーニングの脆弱性を軽減すること。
• 集約プロセス中に悪意あるまたはデータ分布が悪いクライアントを特定・除外する動的メカニズムを開発すること。
• グローバルモデルの更新に品質の高いクライアントのみを選択することで、訓練ラウンド数を削減すること。
• 悪意あるまたは低品質なデータ寄与が存在する状況下でも、グローバルモデルのロバスト性とパフォーマンスを向上させること。

提案手法

• フェデレーテッド集約の過程で動的クライアント選択を実装し、不審または低品質なデータを含むクライアントを除外する。
• データ分布の質とモデル更新の整合性に基づいてクライアントの寄与を評価し、悪意ある行動を検出する。
• グローバルモデルの期待される挙動から著しく逸脱する、またはデータポイズニングの兆候を示すクライアントはフィルタリングにより除外する。
• クライアント更新のリアルタイムモニタリングを統合し、グローバルモデル集約への統合前に信頼性を評価する。
• EMNIST DigitsおよびFashion MNISTデータセットを用いて、深層学習分類モデルを用いて悪意ある状況下でのパフォーマンスを評価する。
• 信頼性の高いクライアントを優先することで訓練ラウンド数を削減し、収束性とモデル精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニング環境において、悪意あるクライアントを効果的に検出し除外することは可能か？
• RQ2 動的クライアント選択は、データポイズニング攻撃に対するグローバルモデルのロバスト性をどの程度向上させるか？
• RQ3 データ分布が悪いクライアントを除外することで、必要な訓練ラウンド数を削減できるか？
• RQ4 標準的なフェデレーテッドラーニングと比較して、動的モデルの精度と収束性はどのように評価できるか？

主な発見

• クライアントの動的選択により、EMNIST DigitsおよびFashion MNISTデータセットにおけるグローバル学習モデルのパフォーマンスが顕著に向上した。
• 悪意あるクライアントがデータポイズニング攻撃を試みた場合でも、その識別と除外に成功した。
• データ分布が悪いクライアントは効果的にフィルタリングされ、モデルの一般化性能と安定性が向上した。
• 高品質なクライアント更新の集約がより効率的に行われたため、訓練ラウンド数が削減された。
• 悪意ある状況下でも高い分類精度を維持した。
• 事前に悪意あるクライアントの情報を得ることなく、動的フィルタリング機構により収束速度とロバスト性が向上した。