[論文レビュー] Privacy-Preserving Aggregation in Federated Learning: A Survey

Ziyao Liu, Jiale Guo+4 more|arXiv (Cornell University)|Mar 31, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本調査は、フェデレーテッドラーニング（FL）におけるプライバシー保護型集約（PPAgg）プロトコルについて包括的な分析を提供し、マスキングベース、暗号化ベース、MPCベース、DPベース、ハイブリッド手法の各アプローチを評価している。セキュリティ、効率性、レジリエンスの間の主要なトレードオフを特定し、スループット、ハイブリッドセキュリティ統合、通信最適化における課題を提示している。

ABSTRACT

Over the recent years, with the increasing adoption of Federated Learning (FL) algorithms and growing concerns over personal data privacy, Privacy-Preserving Federated Learning (PPFL) has attracted tremendous attention from both academia and industry. Practical PPFL typically allows multiple participants to individually train their machine learning models, which are then aggregated to construct a global model in a privacy-preserving manner. As such, Privacy-Preserving Aggregation (PPAgg) as the key protocol in PPFL has received substantial research interest. This survey aims to fill the gap between a large number of studies on PPFL, where PPAgg is adopted to provide a privacy guarantee, and the lack of a comprehensive survey on the PPAgg protocols applied in FL systems. In this survey, we review the PPAgg protocols proposed to address privacy and security issues in FL systems. The focus is placed on the construction of PPAgg protocols with an extensive analysis of the advantages and disadvantages of these selected PPAgg protocols and solutions. Additionally, we discuss the open-source FL frameworks that support PPAgg. Finally, we highlight important challenges and future research directions for applying PPAgg to FL systems and the combination of PPAgg with other technologies for further security improvement.

研究の動機と目的

• フェデレーテッドラーニング（FL）システムにおけるプライバシー保護型集約（PPAgg）プロトコルに特化した包括的で体系的な調査が不足しているという問題に対処すること。
• マスキング、同型暗号、マルチパーティ計算、微分プライバシー、ハイブリッド方式を含む主なPPAggプロトコルの設計、利点、制限を分析すること。
• PPAggをサポートするオープンソースのFLフレームワークの評価を行い、実用的導入におけるギャップを同定すること。
• スループットのボトル neck、悪意ある行動へのレジリエンス、他のプライバシー強化技術との統合といった、未解決の課題を強調すること。
• PPFLシステムにおけるセキュリティと効率性の向上のための有望な研究方向を特定することで、今後の研究を導くこと。

提案手法

• マスキング、同型暗号（HE）、マルチパーティ計算（MPC）、微分プライバシー（DP）、ハイブリッド手法に基づくPPAggプロトコルの分類。
• 各プロトコルタイプのセキュリティ特性（例：準正直的および能動的攻撃者に対する耐性）、効率性（計算および通信オーバーヘッド）、参加者離脱に対するレジリエンスの分析。
• バッチ処理、圧縮（例：Top-kスパarsification）、ハードウェアアクセラレーション（例：FPGA、GPU）などのシステムレベル機能とのPPAgg統合の評価。
• TensorFlow Federated や Flower といったオープンソースのFLフレームワークを調査し、それらのプロトコル対応状況と導入成熟度を評価。
• 検証可能秘密分散、ブロックチェーン、TEE などの追加防御とPPAggを組み合わせたハイブリッド方式を提案し、サーバー側の汚染攻撃やインファレンス攻撃に対するセキュリティ強化を図ること。
• PPAggプロトコルにおけるパフォーマンスボトル neck、特に一般的な暗号プリミティブに起因する高い通信および計算コストを特定し、最適化の機会を同定すること。

実験結果

リサーチクエスチョン

• RQ1 マスキング、HE、MPC、DPベースのアプローチを含む、異なるPPAggプロトコルファミリーにおける主な設計原則とトレードオフは何か？
• RQ2 PPAggプロトコルは、準正直的および能動的攻撃者を含むさまざまな脅威モデルに対して、どのようにセキュリティを確保しているのか？また、参加者離脱下でのレジリエンス特性はいかなるものか？
• RQ3 既存のPPAggプロトコルにおける主なパフォーマンスボトル neck は何か、特に通信および計算オーバーヘッドの観点から、それらをどのように軽減できるか？
• RQ4 PPAggをどのようにして、Byzantine耐性集約、TEE、またはブロックチェーンといった他のプライバシー・セキュリティメカニズムと効果的に組み合わせ、汚染攻撃やインファレンス攻撃から防御できるか？
• RQ5 PPAggとの圧縮技術統合における現在の制限は何か？また、順序情報の漏洩を防ぐために、プライバシー保護型ベクトル再構築をどのように実現できるか？

主な発見

• マスキングベースのプロトコル（例：SecAgg）は、優れた効率性と離脱耐性を備えており、クロスデバイスFL環境におけるリソース制限のあるデバイスに適している。
• HEベースおよびMPCベースのプロトコルは、強固なセキュリティを提供するが、高い計算および通信コストに起因し、大規模なFL展開ではスケーラビリティに制限を受ける。
• DPベースの集約は形式的なプライバシー保証を提供するが、特に高次元のモデル更新において、モデルの有用性の著しい低下を伴うことが一般的である。
• 検証可能秘密分散やTEEと組み合わせたハイブリッド方式は、サーバー側の汚染攻撃やインファレンス攻撃に対するセキュリティを強化できるが、統合の複雑さが依然として課題である。
• 通信オーバーヘッドは依然として主要なボトル neck であり、軽量な暗号プリミティブおよびバッチ処理技術（例：HEにおけるSIMD、バッチ暗号化）はスループット向上に不可欠である。
• Top-kスパースフィケーションのような圧縮技術は、順序情報からのプライバシー漏洩のため、PPAggと統合することが困難であり、プライバシーを保持するための新しい安全な再構築メカニズムの開発が求められる。