[論文レビュー] FLVoogd: Robust And Privacy Preserving Federated Learning

Yuhang Tian, Rui Wang+3 more|arXiv (Cornell University)|Jun 24, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

FLVoogd は、安全な多人数計算（SMPC）と DBSCAN クラスタリングを用いて、機密データを暴露せずに、耐障害性の高い Byzantine 攻撃を検出し、フィルタリングするプライバシー保護型フェデレーテッドラーニングフレームワークを提案する。適応的でパラメータフリーの防御を実現し、強い微分プライバシー保証を備え、さまざまな攻撃タイプや非独立同分布（non-IID）データ分布下でも高いモデル精度を維持する。

ABSTRACT

In this work, we propose FLVoogd, an updated federated learning method in which servers and clients collaboratively eliminate Byzantine attacks while preserving privacy. In particular, servers use automatic Density-based Spatial Clustering of Applications with Noise (DBSCAN) combined with S2PC to cluster the benign majority without acquiring sensitive personal information. Meanwhile, clients build dual models and perform test-based distance controlling to adjust their local models toward the global one to achieve personalizing. Our framework is automatic and adaptive that servers/clients don't need to tune the parameters during the training. In addition, our framework leverages Secure Multi-party Computation (SMPC) operations, including multiplications, additions, and comparison, where costly operations, like division and square root, are not required. Evaluations are carried out on some conventional datasets from the image classification field. The result shows that FLVoogd can effectively reject malicious uploads in most scenarios; meanwhile, it avoids data leakage from the server-side.

研究の動機と目的

• フェデレーテッドラーニングにおけるモデルのセキュリティとデータプライバシーの二重の課題に取り組むこと、特に Byzantine 攻撃およびポイズニング攻撃に対して有効であることを目的とする。
• 防御メカニズムにおける手動によるハイパラメータチューニングの必要性を排除し、悪意のある更新の自動的・適応的フィルタリングを可能にすること。
• モデル集約の過程でクライアントおよびサーバーのプライバシーを保護するため、除算や平方根といった高コストな演算を回避する SMPC プロトコルを用いること。
• 非理想なデータ分布（non-IID）およびさまざまな攻撃シナリオ（ラベルフリッピング、バックドア、ランダムアップロードなど）下でも、高いモデルパフォーマンスを維持すること。
• 集約後に $(\epsilon,\delta)$-微分プライバシーを正式に保証することにより、個々の寄与が保護されることを確実にし、モデルの有用性や防御効果を損なわないこと。

提案手法

• SMPC を用いてモデル更新とクラスタリング操作を安全に計算し、生データやモデルパラメータを露呈せずにプライバシー保護型の集約を実現する。
• S2PC を用いた自動 DBSCAN クラスタリングにより、モデル更新の空間的分布に基づいて悪意のあるクライアントを検出し、隔離する。攻撃パターンの事前知識が不要である。
• クライアントに二重のローカルモデルを実装し、テストベースの距離制御を用いてローカル更新をグローバルモデルと整合化することで、パーソナライゼーションを実現しながらも、耐障害性を維持する。
• 除算や平方根といった計算コストの高い演算を回避し、SMPCネイティブな演算（加算、乗算、比較）のみを活用する。
• 微分プライバシーを集約パイプラインに統合し、$(\epsilon,\delta)$-DP を形式的に保証することで、個人の寄与が保護されることを保証する。
• 適応的設計を採用：クラスタリングや防御パラメータの手動チューニングは不要であり、データ分布や更新行動に基づいてフレームワーク自体が自己調整する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングフレームワークは、機密クライアントデータを暴露せずに、手動によるパrameterチューニングを必要とせずに Byzantine 攻撃を検出し、拒否できるか？
• RQ2 提案された SMPC ベースの DBSCAN クラスタリングは、ランダムアップロード、ラベルフリッピング、バックドアトリガーなど多様な攻撃タイプ下で、悪意のある更新を同定するのにどの程度有効か？
• RQ3 non-IID データ分布は防御メカニズムの耐障害性にどの程度影響を及ぼすか？極端なデータスケュー下でも高い精度を維持できるか？
• RQ4 事前学習を施すか、悪意のある更新の割合（PDR）を低下させることで、A6（クロスデータセットバックドア）のような標的攻撃の検出能力にどのような影響があるか？
• RQ5 このフレームワークは、現実のフェデレーテッドラーニング環境下で、強い微分プライバシーと高いモデルパフォーマンスを同時に確保できるか？

主な発見

• FLVoogd は、A1（ランダム）、A2（Krum）、A3（トリムドミーン）、A4（ラベルフリッピング）、A5（バックドア）など、大多数の攻撃シナリオにおいて悪意のあるアップロードを正常に拒否し、ほとんどのケースでモデル精度が90％以上を維持している。
• 非I.I.D.データ分布が極めて高い場合（非I.I.D.比 0.6 まで）でも耐障害性を維持しているが、非I.I.D.比が 0.5 を超えると、更新の方向性分散の喪失により性能が低下する。
• 標的攻撃（A6：クロスデータセットバックドア）では、非I.I.D.比が 0.3 を超えるとフィルタが機能しなくなる。これは、異常行動と歪んだデータ分布を区別できないためである。
• モデルを約 25％ の精度に事前学習し、悪意のある更新の割合（PDR）を 45％ から 30％ に低下させることで、防御パフォーマンスが著しく向上し、異常更新の早期検出が可能になった。
• システムは適応的でパラメータフリーな動作を達成：手動によるチューニングは不要であり、データおよび更新パターンに基づいてフレームワーク自体が自己調整するため、使いやすさと耐障害性が向上する。
• 加算、乗算、比較の基本的演算のみを用いた SMPC の活用により、除算や平方根といった高コストな演算を回避し、プロトコルの効率性と既存の SMPC フレームワークとの互換性を確保している。