[論文レビュー] Shielding Collaborative Learning: Mitigating Poisoning Attacks through Client-Side Detection

Lingchen Zhao, Shengshan Hu+5 more|arXiv (Cornell University)|Oct 29, 2019

Privacy-Preserving Technologies in Data参考文献 41被引用数 16

ひとこと要約

本稿では、共同学習における汚染されたモデル更新を検出するクライアント側クロスバリデーション防御を提案する。クライアントは自身のローカルデータを用いて更新を評価し、そのパフォーマンスをサーバーに報告する。微分プライバシーと動的クライアント割り当てを統合することで、IIDおよび非IID設定の両方で汚染攻撃に対して効果的に耐性を示し、既存の防御よりも耐性とプライバシー保護の両面で優れている。

ABSTRACT

Collaborative learning allows multiple clients to train a joint model without sharing their data with each other. Each client performs training locally and then submits the model updates to a central server for aggregation. Since the server has no visibility into the process of generating the updates, collaborative learning is vulnerable to poisoning attacks where a malicious client can generate a poisoned update to introduce backdoor functionality to the joint model. The existing solutions for detecting poisoned updates, however, fail to defend against the recently proposed attacks, especially in the non-IID setting. In this paper, we present a novel defense scheme to detect anomalous updates in both IID and non-IID settings. Our key idea is to realize client-side cross-validation, where each update is evaluated over other clients' local data. The server will adjust the weights of the updates based on the evaluation results when performing aggregation. To adapt to the unbalanced distribution of data in the non-IID setting, a dynamic client allocation mechanism is designed to assign detection tasks to the most suitable clients. During the detection process, we also protect the client-level privacy to prevent malicious clients from stealing the training data of other clients, by integrating differential privacy with our design without degrading the detection performance. Our experimental evaluations on two real-world datasets show that our scheme is significantly robust to two representative poisoning attacks.

研究の動機と目的

• 非IIDデータ設定において既存の防御が失敗する状況下でも、共同学習の汚染攻撃に対する脆弱性に対処すること。
• サーバーがローカルトレーニングデータやモデル更新にアクセスできないため、サーバー側検出の限界を克服すること。
• クライアントレベルのプライバシーを損なわずに、異常な更新を正確に検出できること。
• シングルクライアント攻撃や直交ベクトル分解といった高度な汚染技術に対しても、耐性を確保すること。
• 動的クライアント割り当てと重み付き集約を用いて、敵対的状況下でもモデルの収束性とパフォーマンスを維持すること。

提案手法

• 各クライアントが自身のローカルデータ上で更新を評価するクロスバリデーションを実施することで、モデル更新の検出をクライアントに委ねる。
• クライアントのローカルデータにおける更新の評価精度を信頼性の代理指標とし、高い精度は汚染度が低いことを示す。
• 検出プロセスに微分プライバシーを統合し、悪意あるピアからクライアントの参加状況を隠蔽することで、クライアントレベルのプライバシーを保護する。
• 非IID設定において、最も代表的またはバランスの取れたデータ分布を持つクライアントに検出タスクを割り当てる動的クライアント割り当てメカニズムを実装する。
• クロスバリデーションのパフォーマンスに基づいて重みを付与し、集約時に汚染された更新の影響を低減する。
• 検出レポートに対して勾配クリッピングとノイズインジェクション（微分プライバシー）を適用し、クライアント参加状況の推論攻撃を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 サーバーがトレーニングデータにアクセスできない状況下でも、クライアント側クロスバリデーションは、共同学習における汚染されたモデル更新を効果的に検出できるか？
• RQ2 既存の防御が失敗する非IIDデータ分布下でも、提案手法はどのように性能を発揮するか？
• RQ3 検出パイプラインに微分プライバシーを統合しても、検出精度やプライバシー保証が低下しないか？
• RQ4 動的クライアント割り当てメカニズムは、不均衡なデータ環境下で検出の耐性をどのように向上させるか？
• RQ5 シングルクライアント攻撃や直交ベクトル分解といった高度な汚染戦略に対しても、この手法は耐性を示せるか？

主な発見

• 提案されたクライアント側クロスバリデーション防御は、MNIST、KDDCup、CIFAR-10の各データセットにおいて、ラベル反転攻撃およびバックドア攻撃の両方に対して高い検出精度を達成した。
• 従来の防御（Krum や FoolsGold）がデータ分布のシフトによって失敗する非IID設定でも、本手法は高い耐性を維持した。
• 微分プライバシーの統合により、クライアント参加状況が隠蔽されたが、検出性能に悪影響を及げなかった。
• 代表的なデータを持つクライアントを選別することで、動的クライアント割り当てが検出の信頼性を向上させた。
• Auror や FoolsGold、Krum といった既存の防御よりも、シングルクライアント攻撃およびシビル攻撃の両方を効果的に検出できた。
• クロスバリデーション結果に基づく重み付き集約により、汚染された更新がグローバルモデル精度に与える影響が顕著に低減された。