[論文レビュー] Enhanced Security and Privacy via Fragmented Federated Learning

Najeeb Jebreel, Josep Domingo‐Ferrer+2 more|arXiv (Cornell University)|Jul 13, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、参加者がモデル更新の暗号化断片を交換・混合してサーバーに送信することで、フェデレーテッドラーニングにおけるプライバシーとセキュリティを向上させる、新しいフレームワークであるフラグメンテッドフェデレーテッドラーニング（FFL）を提案する。FFLは、半信頼性サーバーが個人のデータを推測できないようにし、レピュテーションシステムによる中毒的更新の効果的な検出を可能にし、標準的なFLと同等の精度を達成しながら、計算オーバーヘッドを最小限に抑える。

ABSTRACT

In federated learning (FL), a set of participants share updates computed on their local data with an aggregator server that combines updates into a global model. However, reconciling accuracy with privacy and security is a challenge to FL. On the one hand, good updates sent by honest participants may reveal their private local information, whereas poisoned updates sent by malicious participants may compromise the model's availability and/or integrity. On the other hand, enhancing privacy via update distortion damages accuracy, whereas doing so via update aggregation damages security because it does not allow the server to filter out individual poisoned updates. To tackle the accuracy-privacy-security conflict, we propose {\em fragmented federated learning} (FFL), in which participants randomly exchange and mix fragments of their updates before sending them to the server. To achieve privacy, we design a lightweight protocol that allows participants to privately exchange and mix encrypted fragments of their updates so that the server can neither obtain individual updates nor link them to their originators. To achieve security, we design a reputation-based defense tailored for FFL that builds trust in participants and their mixed updates based on the quality of the fragments they exchange and the mixed updates they send. Since the exchanged fragments' parameters keep their original coordinates and attackers can be neutralized, the server can correctly reconstruct a global model from the received mixed updates without accuracy loss. Experiments on four real data sets show that FFL can prevent semi-honest servers from mounting privacy attacks, can effectively counter poisoning attacks and can keep the accuracy of the global model.

研究の動機と目的

• フェデレーテッドラーニングにおける精度、プライバシー、セキュリティの根本的で相反するトレードオフを解消すること。
• 断片化によって個々の更新を隠蔽することで、半信頼性サーバーによるプライバシー攻撃を防止すること。
• モデル精度を損なわずに中毒的攻撃の検出と緩和を可能にすること。
• モデルパフォーマンスを保ちながら参加者のプライバシーとシステムの整合性を確保する、軽量でスケーラブルなプロトコルを設計すること。
• 更新の品質と断片交換行動に基づいて参加者の信頼性を評価する、断片化された更新に特化した新しいレピュテーションシステムを導入すること。

提案手法

• 参加者はローカルでモデル更新を生成し、ランダムで重複のない断片に分割する。
• フェデレーテッド参加者は、サーバーに依存しない断片混合を保証する軽量暗号プロトコルを用いて、断片を暗号化してプライベートに交換・混合する。
• サーバーは断片の混合結果のみを受信し、個々の更新や発信元のリンクにアクセスせずにグローバルモデルを再構築する。
• 参加者が断片の品質と混合更新の品質に基づいてレピュテーションを獲得または失う、レピュテーションシステムを導入する。
• サーバーはグローバルなレピュテーションを用いて、トレーニングに参加する参加者を選択し、混合更新を適応的に集約することで、低レピュテーションの貢献者を除外する。
• 断片化の過程で元の更新座標を保持するため、歪みなしに正確なグローバルモデル再構築が可能になる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングシステムは、同時にモデル精度を維持し、参加者のプライバシーを保護し、中毒的攻撃に対して防御可能か？
• RQ2 暗号化された断片の交換により、半信頼性サーバーが更新を参加者に紐付けたり、プライベートなトレーニングデータを再構築したりできないか？
• RQ3 断片と更新の品質に基づくレピュテーションシステムは、断片化された更新環境において悪意ある参加者を効果的に検出し、無効化できるか？
• RQ4 標準的なFLおよび既存のプライバシー強化手法と比較して、提案された断片化および混合プロトコルの計算的および通信的オーバーヘッドはどの程度か？
• RQ5 FFLは、現実のデータ分布およびモデルの複雑さや参加者数の変動に対して、どのように性能を発揮するか？

主な発見

• FFLは、サーバーが完全な元の更新を回復できないか、断片と発信元を紐付けられないため、半信頼性サーバーによるプライバシー攻撃を防止する。
• フレームワークは、標準的なフェデレーテッドラーニングと同等のモデル精度を維持しており、100人の参加者下でCIFAR10-VGG16で1.188のテスト精度を達成している。
• FFLは中毒的攻撃に対して効果的に対抗する。実験では、標準的なFLと比較して、攻撃成功率を顕著に低下させ、CIFAR10-VGG16で100人の参加者下で3.536%の攻撃成功率を記録した。
• 参加者側の計算オーバーヘッドは最小限であり、VGG16では1ラウンドあたり最大1.319秒にとどまり、スケーラビリティと効率性を示している。
• サーバー側の実行時間は、HEおよびSMCベースの手法よりも低く、モデルサイズや更新数が増加するほど顕著に効率的であることが確認された。
• FFLは、[36]のような既存のプライバシー保護手法よりも実行時間で優れており、類似モデルにおいて1参加者あたり176秒のオーバーヘッドであるのに対し、FFLは1.319秒にとどまり、より強固なセキュリティ保証を提供している。