[論文レビュー] Compression with Exact Error Distribution for Federated Learning

Mahmoud Hegazy, Rémi Leluc+2 more|arXiv (Cornell University)|Oct 31, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本論文は、段階的量子化器と集約ガウス機構を用いて、正確な誤差分布（たとえば正規分布やラプラス分布）を達成するフェデレーテッドラーニングの新規圧縮方式を提案する。正確なノイズ分布を保証することで、微分プライバシーにおける圧縮の無料化（compression-for-free）を実現し、最適な収束速度を達成する。また、ラングジュアン動力学やランダム化スムージングといった標準的手法を回復または上回る結果を得る。

ABSTRACT

Compression schemes have been extensively used in Federated Learning (FL) to reduce the communication cost of distributed learning. While most approaches rely on a bounded variance assumption of the noise produced by the compressor, this paper investigates the use of compression and aggregation schemes that produce a specific error distribution, e.g., Gaussian or Laplace, on the aggregated data. We present and analyze different aggregation schemes based on layered quantizers achieving exact error distribution. We provide different methods to leverage the proposed compression schemes to obtain compression-for-free in differential privacy applications. Our general compression methods can recover and improve standard FL schemes with Gaussian perturbations such as Langevin dynamics and randomized smoothing.

研究の動機と目的

• 標準の圧縮方式が分散が有界であると仮定するが、圧縮ノイズの形状を無視するという限界に対処すること。
• 最終的なモデル更新に特定の正確な誤差分布（例：正規分布）を生成するアグリゲーション機構を設計すること。
• 正確な誤差分布を活用することで、追加のノイズを必要とせず、微分プライバシーにおける「圧縮の無料化」を実現すること。
• 正確な誤差分布に基づくランダム化スムージングを用いて、非滑らかフェデレーテッド最適化における収束速度を向上させること。
• 信頼できないサーバー環境下でも動作可能なセキュアアグリゲーションに対応するため、準同型圧縮方式を設計すること。

提案手法

• 個々の圧縮機構で正確な誤差分布を達成するために、直接的およびシフト付きの段階的量子化器を用いる。
• 最終的な集約出力が正確に正規分布の誤差を持つことを保証する、新規の準同型圧縮方式「集約ガウス機構」を導入する。
• 提案された量子化器をランダム化スムージングにおける確率的サンプリングの置き換えに適用し、正確な分散ランダム化スムージング（DRS）アルゴリズムの再構築を可能にする。
• クライアントが圧縮されたメッセージを送信し、デコード前に準同型的にアグリゲートできるように、セキュアアグリゲーション（SecAgg）と互換性を持つ圧縮方式を設計する。
• 正確な誤差分布を活用することで、追加のノイズを加えずに微分プライバシー制約を満たし、「微分プライバシー設定下での圧縮の無料化」を達成する。
• 提案された方式の通信コストを分析し、個々の圧縮および集約圧縮の両設定において効率的であることを示す。

実験結果

リサーチクエスチョン

• RQ1 特定の正確な連続誤差分布（例：正規分布やラプラス分布）を生成する圧縮方式を設計可能か？ 有界分散の仮定に依存しない。
• RQ2 フェデレーテッドアベーリージングおよびアグリゲーションにおいて、正確な誤差分布を達成する通信コストと実用的利点は何か？
• RQ3 正確な誤差分布圧縮は、微分プライバシー応用における「圧縮の無料化」をどのように可能にするか？
• RQ4 このような方式を用いて、非滑らか最適化におけるラングジュアン動力学やランダム化スムージングといった既存手法を回復または改善可能か？
• RQ5 圧縮機構をどのようにして準同型化し、信頼できないサーバー環境下でのセキュアアグリゲーションを可能にするか？

主な発見

• 提案された集約ガウス機構により、最終的な集約モデル更新が正確に正規分布の誤差を持つことが保証され、正確な微分プライバシー保証が可能になる。
• 圧縮ノイズをプライバシー保護ノイズとして再利用することで、追加の摂動を必要とせず、微分プライバシーにおける「圧縮の無料化」を達成する。
• 正確な誤差分布を持つ段階的量子化器を用いることで、非滑らか目的関数において最適な収束速度を達成する分散ランダム化スムージング（DRS）アルゴリズムの正確な再構築が可能になる。
• 集約ガウス機構は準同型性を持つため、SecAggなどのセキュアアグリゲーションプロトコルと互換性があり、サーバーが信頼できない状況下でもプライバシー保護型アグリゲーションが可能になる。
• 提案された方式の通信コストは分析され、誤差分布制御と帯域幅使用の両面で良好なトレードオフを示している。
• 標準的なフェデレーテッドラーニング方式（例：ラングジュアン動力学やランダム化スムージングで用いられる正規分布ノイズ付き方式）を一般化・改善し、正確な誤差制御とより厳密な理論的解析を提供する。