[論文レビュー] Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy

Xinwei Zhang, Xiangyi Chen+3 more|arXiv (Cornell University)|Jun 25, 2021

Privacy-Preserving Technologies in Data参考文献 30被引用数 23

ひとこと要約

本論文は、クライアントレベルの微分プライバシー（DP）を目的としたフェデレーテッドラーニング（FL）におけるモデルクリッピングの、初めての厳密な理論的・実験的分析を提供する。差分クリッピングがモデルクリッピングを上回ることを示し、ニューラルネットワークのアーキテクチャがクリッピング性能に顕著な影響を及えることを明らかにする—深く構造化されたモデルはクライアントの更新を集約し、プライバシーのノイズの影響を軽減することで、最小限の精度低下で強力なDP保証を達成できる。

ABSTRACT

Providing privacy protection has been one of the primary motivations of Federated Learning (FL). Recently, there has been a line of work on incorporating the formal privacy notion of differential privacy with FL. To guarantee the client-level differential privacy in FL algorithms, the clients' transmitted model updates have to be clipped before adding privacy noise. Such clipping operation is substantially different from its counterpart of gradient clipping in the centralized differentially private SGD and has not been well-understood. In this paper, we first empirically demonstrate that the clipped FedAvg can perform surprisingly well even with substantial data heterogeneity when training neural networks, which is partly because the clients' updates become similar for several popular deep architectures. Based on this key observation, we provide the convergence analysis of a differential private (DP) FedAvg algorithm and highlight the relationship between clipping bias and the distribution of the clients' updates. To the best of our knowledge, this is the first work that rigorously investigates theoretical and empirical issues regarding the clipping operation in FL algorithms.

研究の動機と目的

• フェデレーテッドラーニング（FL）におけるクライアントレベルの微分プライバシー（DP）を想定した場合、クリッピングが収束性およびプライバシーに与える影響を理解すること。
• データの非独立同分布性が高く、プライバシー予算も高い状況下でも、クリッピング付きのFedAvgが良好に機能する理由を調査すること。
• クリッピングバイアス、クライアントの更新分布、DPを有効としたFLにおける収束性の間の理論的基盤を確立すること。
• 最適化性能およびプライバシー保証の観点から、モデルクリッピングと差分クリッピングの戦略を比較すること。

提案手法

• クライアントのモデル更新をノイズ追加の前にクリッピングすることで、クライアントレベルDPの保証を達成するDP-FedAvgアルゴリズムを提案する。
• 全モデル更新ではなく、局所モデルとグローバルモデルの更新差分をクリッピングする差分クリッピングを導入する。
• DP-FedAvgの収束解析を提供し、クライアントの更新分布およびクリッピングバイアスに依存する境界を導出する。
• 理論的枠組みを用いて、クライアントの更新が集中している場合にクリッピングバイアスが最小化され、これは深層アーキテクチャで顕著に現れることを示す。
• EMNISTおよびCIFAR-10データセット上で、複数のニューラルネットワークアーキテクチャ（MLP、AlexNet、ResNet-18、MobileNetV2）を用い、さまざまなプライバシー予算を想定してクリッピング性能を実験的に評価する。
• クリッピングしきい値を平均局所更新量の50%に設定し、実験全体でプライバシー予算δ=10−5を固定する。

実験結果

リサーチクエスチョン

• RQ1 クリッピングは、DPを有効としたFedAvgの収束性および最適化性能にどのように影響するか？
• RQ2 なぜ、データの非独立同分布性が高く、強いプライバシー制約下でも、クリッピング付きのFedAvgは良好に機能するのか？
• RQ3 クライアントの更新分布と、FLにおけるクリッピングの有効性との関係は何か？
• RQ4 精度およびプライバシー保証の観点から、モデルクリッピングと差分クリッピングの戦略は、どのように比較できるか？
• RQ5 どのニューラルネットワークアーキテクチャが、DP制約下でのクリッピングに起因する性能低下に対して最も耐性を持つのか？

主な発見

• 差分クリッピングは、特に強いプライバシー予算下で、モデルクリッピングを著しく上回る収束性および精度性能を示す。
• 畳み込み層やスキップ接続を含む構造的要素を持つニューラルネットワークは、クライアントの更新をより集中させ、クリッピングバイアスを低減し、性能向上をもたらす。
• EMNISTでは、ε=5の条件下でResNet-18はDP-FedAvgにおいてFedAvgと比較してわずか3.76%の精度低下にとどまり、プライバシーのノイズに対して強い耐性を示した。
• CIFAR-10では、MLPはε=1.5の条件下でクリッピング下で7.39%の低下を示したが、DP下では追加でたった0.90%の低下にとどまり、ノイズの影響は適切なクリッピングにより管理可能であることが示された。
• 理論的解析により、クライアントの更新が密に分布している場合にクリッピングバイアスが最小化され、これはより深い、良好に構造化されたモデルでより顕著に現れることが確認された。
• 大規模なモデル（例：ResNet-18）は次元数およびリプシッツ定数が高いため、プライバシーのノイズに対して感受性が高くなるが、構造的な設計がこの影響を緩和する。