[論文レビュー] cpSGD: Communication-efficient and differentially-private distributed SGD

Naman Agarwal, Ananda Theertha Suresh+3 more|arXiv (Cornell University)|May 27, 2018

Privacy-Preserving Technologies in Data参考文献 3被引用数 184

ひとこと要約

この論文は cpSGD を紹介します。分散 SGD フレームワークで、攻撃的な勾配量子化と Binomial differential privacy メカニズムを組み合わせ、通信効率と formal DP 保証を実現します。回転ベースの技術も提案され、誤差を低減し、Gaussian privacy/utility トレードオフに匹敵するものでありながら通信を大幅に削減します。

ABSTRACT

Distributed stochastic gradient descent is an important subroutine in distributed learning. A setting of particular interest is when the clients are mobile devices, where two important concerns are communication efficiency and the privacy of the clients. Several recent works have focused on reducing the communication cost or introducing privacy guarantees, but none of the proposed communication efficient methods are known to be privacy preserving and none of the known privacy mechanisms are known to be communication efficient. To this end, we study algorithms that achieve both communication efficiency and differential privacy. For $d$ variables and $n \approx d$ clients, the proposed method uses $O(\log \log(nd))$ bits of communication per client per coordinate and ensures constant privacy. We also extend and improve previous analysis of the \emph{Binomial mechanism} showing that it achieves nearly the same utility as the Gaussian mechanism, while requiring fewer representation bits, which can be of independent interest.

研究の動機と目的

• 分散 SGD において通信効率と differential privacy の両立の必要性を動機づける。特にモバイル/エッジクライアントを前提としたケース。
• 各ラウンドの通信を大幅に削減しつつ DP を実現する仕組みを開発する。
• 分散設定で discrete な transmitted に適した Binomial ベースのプライバシー機構を提案する。
• 勾配推定の平均二乗誤差を低減するための回転による有用性向上を図る。
• 分散 mean estimation (DME) を構成要素として、DP、誤差、通信の理論的保証を提供する。

提案手法

• 各ラウンドの勾配圧縮と局所 DP ノイズ付加を用いた分散 SGD を定式化する。
• 離散出力のための Binomial メカニズムを導入し、d 次元へ拡張した formal DP 分析を提供する。
• Rot（ HA を用いる Rot）により MSE を低減し、通信低減を図りつつ privacy 保証を維持することを示す。
• quantization と Binomial ノイズを組み合わせた量子化・確率的 k レベルスキーム π_sk(Bin(m,p)) を提供し、通信を削減しつつ DP を達成する。
• 高確率の感度と回転がプライバシー、精度、通信のトレードオフを改善することを分析する（Corollaries/Theorems）。
• Gaussian ベースラインと Binomial および回転 Binomial メカニズムを、MSE と通信の観点で比較する。

実験結果

リサーチクエスチョン

• RQ1 分散 SGD において通信効率を損なうことなく differential privacy を実現するにはどうすれば良いか？
• RQ2 離散的な（Binomial）ノイズ機構は分散 mean estimation において Gaussian 機構と同等の有用性を提供できるか？
• RQ3 量子化前のランダム回転は誤差を低減し、プライバシー-通信トレードオフを改善するか？
• RQ4 高次元の勾配ベクトルに Binomial ベースの DP を適用した場合の各ラウンドの通信コストとプライバシー保証はどうなるか？
• RQ5 提案手法は MSE と総通信ビット数の点で Gaussian 機構と比較してどのように性能するか？

主な発見

• Binomial メカニズムは d 次元で ε, δ DP を達成し、小さな ε の場合にはほぼ Gaussian な有用性を提供し、表現ビット数を抑える。
• Rot（π_sk(Bin(m,p))、HA）を用いる回転ベースのスキームは MSE を低減し、通信コストが O(nd log log(nd/δ)) となるプライバシー保証を可能にする（d = O(nε^2) のとき）。
• Binomial ベースの DP スキームでは、各ラウンドの総通信量は概ね n·d·(log2(k + m) + 下位項) であり、全精度伝送に対して大幅な削減を実現する。
• 量子化と Binomial ノイズを組み合わせることで、分散 mean estimation (DME) における偏りのない平均推定を維持しつつ DP 保証を提供する。
• 回転は Xmax への依存を低減し、Gaussian 機構と同程度のプライバシー-有用性を、通信を抑えつつ実現する上で実践的な性能を向上させる。
• 本論文は、通信効率を持つプライベートな分散 SGD の構成要素として、DP 対応の DME を実装する方法を示している。