[論文レビュー] FheFL: Fully Homomorphic Encryption Friendly Privacy-Preserving Federated Learning with Byzantine Users

Yogachandran Rahulamathavan, Charuka Herath+3 more|arXiv (Cornell University)|Jun 8, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

FheFLは、完全準同型暗号（FHE）と非汚染率に基づく集約方式を組み合わせた、新たなフェデレーテッドラーニングフレームワークを提案する。このフレームワークは、暗号化された領域でマルチキー加法的暗号方式を用いて安全なモデル集約を実現することで、プライバシー漏洩とデータ汚染攻撃の両方に対して同時に耐性を持つ。計算コストをある程度増加させるものの、非暗号化FLと同等の精度を達成し、ユーザーとの相互作用を必要とせず、単一のサーバーで運用可能である。

ABSTRACT

The federated learning (FL) technique was developed to mitigate data privacy issues in the traditional machine learning paradigm. While FL ensures that a user's data always remain with the user, the gradients are shared with the centralized server to build the global model. This results in privacy leakage, where the server can infer private information from the shared gradients. To mitigate this flaw, the next-generation FL architectures proposed encryption and anonymization techniques to protect the model updates from the server. However, this approach creates other challenges, such as malicious users sharing false gradients. Since the gradients are encrypted, the server is unable to identify rogue users. To mitigate both attacks, this paper proposes a novel FL algorithm based on a fully homomorphic encryption (FHE) scheme. We develop a distributed multi-key additive homomorphic encryption scheme that supports model aggregation in FL. We also develop a novel aggregation scheme within the encrypted domain, utilizing users' non-poisoning rates, to effectively address data poisoning attacks while ensuring privacy is preserved by the proposed encryption scheme. Rigorous security, privacy, convergence, and experimental analyses have been provided to show that FheFL is novel, secure, and private, and achieves comparable accuracy at reasonable computational cost.

研究の動機と目的

• フェデレーテッドラーニングにおけるモデル勾配からのプライバシー漏洩とデータ汚染攻撃という二重の課題に対処すること。
• 複数の協調しないサーバーに依存せず、ユーザーの協力も不要な、単一のサーバーで動作する安全でプライバシー保護型のFLシステムを設計すること。
• 暗号化された状態でモデル更新を復号せずに、悪意あるユーザーの検出と緩和を可能にすること。
• 特に最大20％の悪意あるユーザーが存在する現実的な攻撃条件下でも、収束性とモデルの正確性を維持すること。
• 従来のFHEベースのFL方式よりも計算および通信のオーバーヘッドを低減しながら、強固なセキュリティ保証を確保すること。

提案手法

• フェデレーテッドラーニングに特化した分散型マルチキー加法的暗号化方式を提案し、暗号化されたモデル更新の安全な集約を可能にする。
• ユーザーの非汚染率を用いて、暗号化された領域で悪意あるユーザーの寄与度を動的に低減する再帰的重み付き更新方式を導入する。
• CKKS FHE方式を用い、SIMDパッケージングにより1つの暗号文で最大8192個のモデルパラメータを暗号化・処理することで、計算効率を向上させる。
• 暗号化されたモデル更新とグローバルモデルとの間でユークリッド距離を計算し、復号せずに一貫性を評価し、異常を検出する。
• すべての集約および検証タスクを1台のサーバーが処理するアーキテクチャを採用し、ユーザーとの相互作用や複数の信頼できる当事者の必要性を排除する。
• グローバルモデルのトレンドからの逸脱度に基づき、非汚染率指標を用いて悪意ある更新を特定・抑制する。

実験結果

リサーチクエスチョン

• RQ1 単一サーバーのフェデレーテッドラーニングシステムは、強力なプライバシー保護とデータ汚染攻撃に対する耐性を両立できるか？
• RQ2 平文のモデル更新を露呈せずに、暗号化された領域で悪意あるユーザーの検出を効果的に行う方法は何か？
• RQ3 Byzantineユーザーを伴う大規模なFLにおいて、FHEが計算および通信のオーバーヘッドに与える影響は何か？
• RQ4 最大20％のユーザーが悪意ある状況下でも、提案された集約方式によってモデルの収束性はどの程度維持できるか？
• RQ5 既存のPPFL手法（ShieldFL や PEFL など）と比較して、提案手法は効率性と正確性においてどのように優れているか？

主な発見

• FheFLは、悪意あるユーザーの数が20％未満の範囲で収束を達成し、エポックごとに訓練損失が一貫して減少する安定した学習を実現した。
• 非暗号化フェデレーテッドラーニングと同等のモデル正確性を維持しており、中程度の汚染攻撃に対しても最小限の精度低下に抑えられた。
• 100人のユーザーの暗号化されたモデル更新（1人あたり8192パラメータ）を処理するのにサーバーで約6分を要した。これは、効率的なSIMDパッケージングのおかげで、ShieldFL（1時間以上）よりも著しく高速である。
• 1エポックあたりのユーザーごとの通信帯域幅は3MB未満であり、Wi-Fiや5Gネットワークでも実用可能であるが、ワンタイムパッドベースの方式に比べてやや高い。
• CKKSのセキュリティパラメータNを8192から16384に変更すると、計算コストは約2倍に増加するが、これにより精度が向上し、より高い正確性が達成された。
• 提案手法は、時間的および通信的複雑度においてShieldFLを上回り、PEFLと同等の効率性を達成しながら、単一のサーバーに依存し、より強いセキュリティ仮定を採用している。