[論文レビュー] Constrained Differentially Private Federated Learning for Low-bandwidth Devices

Raouf Kerkouche, Gergely Ács+2 more|arXiv (Cornell University)|Feb 27, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、モデル更新を常に上位K個の重みに制限する、プライバシーに配慮した分散学習手法FL-TOP-DPを提案する。この手法により、局所的学習とセキュアアグリゲーションを組み合わせることで、通信帯域幅を最大99.9%まで削減しながら、モデルの精度を維持する。クライアントレベルの微分プライバシーを用いた理論的プライバシー保証を提供し、低帯域幅のモバイルデバイスに最適化されている。

ABSTRACT

Federated learning becomes a prominent approach when different entities want to learn collaboratively a common model without sharing their training data. However, Federated learning has two main drawbacks. First, it is quite bandwidth inefficient as it involves a lot of message exchanges between the aggregating server and the participating entities. This bandwidth and corresponding processing costs could be prohibitive if the participating entities are, for example, mobile devices. Furthermore, although federated learning improves privacy by not sharing data, recent attacks have shown that it still leaks information about the training data. This paper presents a novel privacy-preserving federated learning scheme. The proposed scheme provides theoretical privacy guarantees, as it is based on Differential Privacy. Furthermore, it optimizes the model accuracy by constraining the model learning phase on few selected weights. Finally, as shown experimentally, it reduces the upstream and downstream bandwidth by up to 99.9% compared to standard federated learning, making it practical for mobile systems.

研究の動機と目的

• 低帯域幅環境、特にモバイルおよびリソース制限のあるデバイスにおいて、標準的な分散学習の高い通信コストを軽減すること。
• 全パラメータではなく、固定された小さな重みサブセットに学習を集中させることで、微分プライバシー下でのモデル精度を向上させること。
• すべてのパラメータにノイズを追加するのではなく、クライアントレベルの微分プライバシーを用いて、DP-FLで一般的に見られるノイズによる精度低下を最小限に抑える強力な理論的プライバシー保証を提供すること。
• 各ラウンドで一貫した最小限のデータ転送を保証することで、セキュアアグリゲーションプロトコルとの効率的な統合を可能にすること。
• 上行および下行の通信オーバーヘッドを両方削減し、実世界のモバイルおよびエッジ環境における分散学習の実用化を可能にすること。

提案手法

• 各学習ラウンドにおいて、重みの大きさまたは勾配寄与度に基づいて固定された上位K個のモデル重みを選択し、それらの重みのみを更新する。
• クライントからサーバーへの上行通信では、上位K個の重みの更新のみを送信することで、通信量を著しく削減する。
• サーバーでは、クライントのデータサイズに応じた重み付き平均を用いて、これらの選択的更新をアグリゲートし、モデル収束を維持する。
• 微分プライバシーは、上位K個の重み更新にのみ、適切にキャリブレートされたノイズを追加することで実装され、ノイズがモデル精度に与える影響を最小限に抑える。
• ローカルDPアプローチと比較して、必要なノイズ予算を削減できるように、セキュアアグリゲーションとシームレスに統合される。
• 上位重みのスパarsityと安定性を活用することで、通信量を削減してもモデル性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 モデル更新を上位K個の重みに限定することで、通信帯域幅を著しく削減しつつ、モデル精度を損なわずに済むのか？
• RQ2 すべてのパラメータにノイズを追加するのではなく、最も重要な重み更新にのみノイズを集中させることで、全パラメータにノイズを追加する手法と比較して、モデル精度がどのように向上するのか？
• RQ3 選択的重み更新と組み合わせた場合、セキュアアグリゲーションは、プライバシーのオーバーヘッドをどの程度効果的に低減できるのか？
• RQ4 実世界のデータセットにおいて、本手法は帯域幅削減とプライバシー-精度トレードオフの観点から、どの程度スケーラブルか？
• RQ5 通信帯域と電力リソースが制限された低帯域幅のモバイルおよびエッジデバイスに、実際に実装可能であり、強力なプライバシー保証を維持できるのか？

主な発見

• 提案されたFL-TOP-DPは、標準的な分散学習と比較して、上行および下行通信帯域幅を最大99.9%まで削減した。
• 上位K個の重みにのみ更新を制限することで、微分プライバシーのノイズが加わっても、高いモデル精度を維持した。
• セキュアアグリゲーションとの統合により、ローカルDPアプローチと比較して、より低いノイズ予算とより強いプライバシー保証が実現した。
• 120万件の米国病院患者を含む実世界の医療データセットとFashion-MNISTデータセットを用いた実験により、本手法の帯域幅削減効果とプライバシー保護の有効性が確認された。
• 特に低帯域幅環境において顕著に効果を発揮し、通信および電力リソースが制限されたモバイルおよびエッジデバイスに適している。
• 特に下行通信も圧縮される状況において、従来の圧縮ベースのDP-FL手法と比較して、スケーラビリティと通信効率の面で優れた性能を示した。