[論文レビュー] Private and Communication-Efficient Edge Learning: A Sparse Differential Gaussian-Masking Distributed SGD Approach

Xin Zhang, Minghong Fang+2 more|arXiv (Cornell University)|Jan 12, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用数 5

ひとこと要約

本稿では、通信効率と強い微分プライバシーの両立を実現する、エッジ学習向けの新規分散型確率的勾配降下法であるSDM-DSGDを提案する。スパース勾配スプライシングと微分プライバシー付きガウスマスクを組み合わせることで、送信オーバーヘッドを低減しつつプライバシーを保持し、非凸設定下で\tilde{O}(1/\sqrt{NT})の収束レートを達成する。

ABSTRACT

With rise of machine learning (ML) and the proliferation of smart mobile devices, recent years have witnessed a surge of interest in performing ML in wireless edge networks. In this paper, we consider the problem of jointly improving data privacy and communication efficiency of distributed edge learning, both of which are critical performance metrics in wireless edge network computing. Toward this end, we propose a new decentralized stochastic gradient method with sparse differential Gaussian-masked stochastic gradients (SDM-DSGD) for non-convex distributed edge learning. Our main contributions are three-fold: i) We theoretically establish the privacy and communication efficiency performance guarantee of our SDM-DSGD method, which outperforms all existing works; ii) We show that SDM-DSGD improves the fundamental training-privacy trade-off by {\em two orders of magnitude} compared with the state-of-the-art. iii) We reveal theoretical insights and offer practical design guidelines for the interactions between privacy preservation and communication efficiency, two conflicting performance goals. We conduct extensive experiments with a variety of learning models on MNIST and CIFAR-10 datasets to verify our theoretical findings. Collectively, our results contribute to the theory and algorithm design for distributed edge learning.

研究の動機と目的

• 分散型エッジ学習システムにおける、同時にデータプライバシーと通信効率を確保するという重要な課題に取り組む。
• プライバシー保護のためのノイズ（例：i.i.d.ガウス分布）と通信効率の高い勾配圧縮（例：スプライシング）の間にある本質的対立を克服する。これらは互いの性能を劣化させる。
• 収束保証を損なわずに、プライバシーと効率の両方のメカニズムを統合する包括的なアルゴリズムフレームワークを設計する。
• 非凸な分散学習設定下で、プライバシー、通信効率、収束レートの理論的性能バインディングを提供する。
• 実世界のエッジ展開において、プライバシーと通信効率のトレードオフをバランスさせるための実用的設計指針を提示する。

提案手法

• 送信確率を低減しつつ収束を維持できるようにするため、一般化された微分符号付きDSGD更新を提案する。
• スパースな微分プライバシー付きガウスマスク機構を導入し、上位-kのスプライシング済み勾配成分にのみ、校正済みのi.i.d.ガウスノイズを注入することでプライバシーを保護する。
• 本手法は二段階プロセスを採用する：第一に、勾配が最大絶対値を持つ成分を選択することでスプライシングされる。第二に、これらの成分に対して加法的ガウスノイズを用いて微分プライバシーを実装する。
• 理論的分析では、非凸的・分散型・ノイズ付き勾配更新の下で導出された、\tilde{O}(1/\sqrt{NT})の新しい収束バインディングを用いる。
• 中央集権的制御を回避し、スパースでマスクされた送信により通信負荷を低減する、分散型エッジネットワークを想定したフレームワークを設計する。
• プライバシー（微分プライバシー）と通信効率（スプライシングゲイン）の両方の理論的保証を確立し、プライバシー予算とスプライシング比の明確なバインディングを提示する。

実験結果

リサーチクエスチョン

• RQ1 分散型エッジ学習において、勾配スプライシングと微分プライバシーをどのように統合的に最適化すれば、通信負荷を最小限に抑えつつプライバシーを維持できるか？
• RQ2 スパース勾配伝送と微分プライバシー付きノイズ注入を組み合わせた分散型SGD法の理論的収束レートは何か？
• RQ3 スプライシングに起因するノイズと微分プライバシーのノイズの相互作用は、学習の収束性とモデル有効性にどのように影響するか？
• RQ4 エッジ学習システムにおいて、プライバシー予算、スプライシング比、収束レートの最適なトレードオフは何か？
• RQ5 統合アルゴリズムは、モデル精度や収束速度を損なわずに、強力なプライバシーと高い通信効率を両立できるか？

主な発見

• 提案されたSDM-DSGD手法は、非凸な分散学習において、Nがクライアント数、Tが反復回数である\tilde{O}(1/\sqrt{NT})の収束レートを達成する。
• 本手法は微分プライバシーの下で明示的なプライバシー保証を提供し、プライバシー予算はノイズ分散とスプライシング比によって定量的にバインドされる。
• スプライシングによる送信勾配成分の削減により、通信効率が顕著に向上し、送信確率に関する理論的バインディングが得られる。
• 理論的分析により、スプライシングノイズと微分プライバシーのノイズの相互作用は適切なノイズスケーリングにより管理可能であることが明らかとなり、両者の目的が共存可能であることが示された。
• MNISTおよびCIFAR-10を用いた広範な実験により、SDM-DSGDは通信コストを削減し、プライバシーを維持しながらも、競争力のあるモデル精度を維持していることが確認された。
• 実験結果により、理論的トレードオフと設計指針が妥当であることが実証され、既存手法に比べてプライバシーと通信効率の両面で優れている。