[論文レビュー] Privacy for Free: Communication-Efficient Learning with Differential Privacy Using Sketches

Tian Li, Zaoxing Liu+2 more|arXiv (Cornell University)|Nov 3, 2019

Privacy-Preserving Technologies in Data参考文献 46被引用数 40

ひとこと要約

本論文は、Count Sketchを活用して通信効率と分散学習におけるローカル・ディファレンシャルプライバシーの両立を実現するスケッチベースのフレームワークであるDiffSketchを提案し、プライバシーおよび通信中心のベースラインに対して顕著な精度向上を示す。

ABSTRACT

Communication and privacy are two critical concerns in distributed learning. Many existing works treat these concerns separately. In this work, we argue that a natural connection exists between methods for communication reduction and privacy preservation in the context of distributed machine learning. In particular, we prove that Count Sketch, a simple method for data stream summarization, has inherent differential privacy properties. Using these derived privacy guarantees, we propose a novel sketch-based framework (DiffSketch) for distributed learning, where we compress the transmitted messages via sketches to simultaneously achieve communication efficiency and provable privacy benefits. Our evaluation demonstrates that DiffSketch can provide strong differential privacy guarantees (e.g., $\varepsilon$= 1) and reduce communication by 20-50x with only marginal decreases in accuracy. Compared to baselines that treat privacy and communication separately, DiffSketch improves absolute test accuracy by 5%-50% while offering the same privacy guarantees and communication compression.

研究の動機と目的

• 分散学習における通信効率とプライバシーの共同行動への動機づけ。
• Count Sketchが本質的にローカルディファレンシャルプライバシー保証を提供することを示す。
• メッセージを圧縮しつつプライバシーを提供し、精度を維持するDiffSketchを提案する。

提案手法

• 実証可能な誤差境界を伴う勾配/モデル更新の圧縮ブロックとしてCount Sketchを用いる。
• 入力がガウス分布仮定および有界入力の下でCount Sketchがローカルディファレンシャルプライバシーを誘発することを証明する。
• 分散SGDおよびFedAvg/Federated設定において圧縮、プライバシー検証、集約、クエリを行うDiffSketchを開発する。
• スケッチベースの無偏勾配推定を活用した分散SGDにおける凸目的の収束保証を提供する。
• DiffSketchをcpSGDやノイズ付加アプローチなどのベースラインと実データのMNISTおよびShakespeareデータセットで経験的に比較する。
• 固定のプライバシーと通信レベルでベースラインより5%-50%の絶対精度向上を示す。

実験結果

リサーチクエスチョン

• RQ1 スケッチは追加ノイズなしで分散学習において本質的なローカルディファレンシャルプライバシーを提供できるか？
• RQ2 スケッチベース手法を用いる場合の通信圧縮、プライバシレベル、学習精度のトレードオフは何か？
• RQ3 スケッチベースのフレームワーク（DiffSketch）は分散SGDおよびフェデレーテッド学習（FedAvg）において、プライバシーと通信を重視したベースラインと比較してどう機能するか？

主な発見

• DiffSketchは通信を最大で20-50×削減できるが精度の低下はわずかです。
• DiffSketchは固定の通信レベルで強力なローカルプライバシー保証を提供（例: ε ≈ 1）。
• 同じプライバシーと圧縮下でベースラインより5%-50%の絶対テスト精度向上をDiffSketchはもたらす。
• cpSGDと比較すると、同じプライバシーと通信設定で最大50%高い精度をDiffSketchは達成。
• スケッチ自体が追加ノイズの必要性をほぼ排除し、固有のプライバシー利点を提供する。
• 凸目的の収束保証はDiffSketchが標準SGDレートを制御誤差とともに達成することを示す。