[論文レビュー] Securing Secure Aggregation: Mitigating Multi-Round Privacy Leakage in Federated Learning

Jinhyun So, Ramy E. Ali+3 more|arXiv (Cornell University)|Jun 7, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用数 19

ひとこと要約

本稿では、複数の学習ラウンドにわたり、サーバーが個々のユーザーの局所モデルを再構築できないようにすることで、長期的なプライバシーを保証する構造的ユーザー選択戦略であるMulti-RoundSecAggを提案する。従来のランダムなユーザー選択とは異なり、線形なラウンド数の後にモデル情報が漏洩するのを防ぐ。Multi-RoundSecAggは、参加行列がランク不足となることで、個々の勾配を推定できないようにし、MNIST、CIFAR-10、CIFAR-100データセットで最小限の精度損失で強力なプライバシーを実現する。

ABSTRACT

Secure aggregation is a critical component in federated learning (FL), which enables the server to learn the aggregate model of the users without observing their local models. Conventionally, secure aggregation algorithms focus only on ensuring the privacy of individual users in a single training round. We contend that such designs can lead to significant privacy leakages over multiple training rounds, due to partial user selection/participation at each round of FL. In fact, we show that the conventional random user selection strategies in FL lead to leaking users' individual models within number of rounds that is linear in the number of users. To address this challenge, we introduce a secure aggregation framework, Multi-RoundSecAgg, with multi-round privacy guarantees. In particular, we introduce a new metric to quantify the privacy guarantees of FL over multiple training rounds, and develop a structured user selection strategy that guarantees the long-term privacy of each user (over any number of training rounds). Our framework also carefully accounts for the fairness and the average number of participating users at each round. Our experiments on MNIST and CIFAR-10 datasets in the IID and the non-IID settings demonstrate the performance improvement over the baselines, both in terms of privacy protection and test accuracy.

研究の動機と目的

• フェデレーテッドラーニングにおける重要なギャップに対処する。すなわち、複数ラウンドにわたり繰り返し参加するにもかかわらず、従来のセキュアアグリゲーションでは1ラウンドのみのプライバシー保護にとどまること。
• 部分的なユーザー参加とランダム選択戦略がもたらすフェデレーテッドラーニングにおける長期的プライバシー漏洩を定量化する。
• 任意の数のトレーニングラウンドにわたり、個々のモデルのプライバシーが保証される構造的ユーザー選択メカニズムを設計する。
• 平均参加ユーザー数と選択の公平性を制御することで、長期的プライバシーとシステム効率のトレードオフを制御する。
• 提案手法が、ランダム選択と同等のテスト精度を達成しながら、顕著に長期的プライバシーを向上させることを実証する。

提案手法

• 任意のラウンド数におけるサーバーが個々の局所モデルを再構築できる能力を測る新しいプライバシー指標を導入する。
• ユーザーをバッチにグループ化する構造的ユーザー選択戦略を設計し、複数ラウンドにわたる参加行列がランク不足となるようにする。これにより、最小二乗推定による勾配の逆算が不可能になる。
• ラウンドt₀からt₁−1の間の参加行列P^(t₀;t₁)を用い、行列がフルランクでないことを保証することで、最小二乗解における逆行列が計算不能になるようにする。
• P^(t₀;t₁)がフルランクの場合に限り、最小二乗法を用いて個々の勾配を推定可能である。それ以外の場合は、再構築は不可能である。
• 平均参加ユーザー数と複数ラウンドプライバシー保証Tを調整することで、プライバシーと効率のトレードオフを制御する。
• 収束解析を用い、より高いプライバシー（大きなT）では収束速度が低下し、同じ精度に到達するのにより多くのラウンドを要することを示す。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける従来のK一様ランダム選択戦略は、1ラウンドごとにセキュアアグリゲーションが適用されていなくても、複数ラウンドにわたり個々の局所モデルを再構築可能か？
• RQ2 1ラウンド保護を超えて、フェデレーテッドラーニングにおける長期的プライバシーを形式的に定量化する方法は何か？
• RQ3 任意の数のトレーニングラウンドにわたり、個々のモデルがプライベートであることを保証する構造的ユーザー選択戦略は何か？
• RQ4 フェデレーテッドラーニングにおいて、長期的プライバシー、収束速度、平均参加ユーザー数の間のトレードオフは何か？
• RQ5 プライバシー保護型選択戦略は、モデル逆算攻撃を防ぎつつ、ランダム選択と同等の高いテスト精度を維持できるか？

主な発見

• 従来のK一様ランダム選択戦略では再構築誤差が6.715×10⁻³に達し、サーバーが個々の局所勾配を正確に回復可能であることが示された。
• T=2のMulti-RoundSecAggでは再構築誤差が0.7829に留まり、参加行列がランク不足であるため、サーバーは個々の勾配を再構築できないことが示された。
• 再構築勾配に対するモデル逆算攻撃では、PSNRとMSEで測定した結果、Multi-RoundSecAgg（T=2,4）ではオリジナル画像との類似度が顕著に低く、ランダム選択（T=1）よりも顕著に劣る。
• MNIST、CIFAR-10、CIFAR-100データセットにおいて、Multi-RoundSecAggはランダム選択とほぼ同等のテスト精度を達成しており、性能低下が最小限であることが示された。
• Multi-RoundSecAggの収束速度は、プライバシー保証Tが大きくなるにつれて低下し、ランダム選択と同等の精度に到達するのにより多くのラウンドを要する。
• 平均参加者数がプライバシー要件が高くなるにつれて減少するが、公平性、平均参加、長期的プライバシーのバランスを達成している。