[논문 리뷰] cpSGD: Communication-efficient and differentially-private distributed SGD

Naman Agarwal, Ananda Theertha Suresh외 3명|arXiv (Cornell University)|2018. 05. 27.

Privacy-Preserving Technologies in Data참고 문헌 3인용 수 184

한 줄 요약

이 논문은 공세적 그래디언트 양자화와 Binomial 차별 프라이버시 메커니즘을 결합한 분산 SGD 프레임워크인 cpSGD를 도입하여 통신 효율성과 정식 DP 보장을 달성합니다. 또한 에러를 줄이고 가우시안 프라이버시/유틸리티 트레이드를 significantly reduced communication으로 맞추기 위한 회전 기반 기법을 제안합니다.

ABSTRACT

Distributed stochastic gradient descent is an important subroutine in distributed learning. A setting of particular interest is when the clients are mobile devices, where two important concerns are communication efficiency and the privacy of the clients. Several recent works have focused on reducing the communication cost or introducing privacy guarantees, but none of the proposed communication efficient methods are known to be privacy preserving and none of the known privacy mechanisms are known to be communication efficient. To this end, we study algorithms that achieve both communication efficiency and differential privacy. For $d$ variables and $n \approx d$ clients, the proposed method uses $O(\log \log(nd))$ bits of communication per client per coordinate and ensures constant privacy. We also extend and improve previous analysis of the \emph{Binomial mechanism} showing that it achieves nearly the same utility as the Gaussian mechanism, while requiring fewer representation bits, which can be of independent interest.

연구 동기 및 목표

• 분산 SGD에서 특히 모바일/에지 클라이언트와 함께 통신 효율성과 차등 프라이버시의 필요성을 동기화합니다.
• 매 라운드 통신을 크게 감소시키면서 DP를 달성하는 메커니즘을 개발합니다.
• 분산 환경에서 이산 전송에 적합한 Binomial 기반 프라이버시 메커니즘을 제시합니다.
• 배열 추정의 평균 제곱 오차를 줄이기 위해 회전을 통한 유틸리티 개선을 모색합니다.
• DME(Distributed Mean Estimation)를 구성 요소로서 DP, 오차, 통신에 대한 이론적 보장을 제공합니다.

제안 방법

• 라운드별 그래디언트 압축과 로컬 DP 노이즈 추가를 포함하는 분산 SGD를 공학합니다.
• 이산 출력에 대한 Binomial 메커니즘을 도입하고 d 차원으로 확장된 정식 DP 분석을 제공합니다.
• 회전(Rot using HA)이 MSE를 감소시키고 프라이버시 보장을 유지하면서 통신 비용을 각 라운드에 대해 O(nd log log(nd/δ))로 낮춘다는 것을 보입니다(d = O(nε^2)일 때).
• 양자화와 Binomial 노이즈를 결합한 양자화된 확률적 k-레벨 스킴 π_sk(Bin(m,p))을 제공하여 DP를 달성하고 통신을 감소시킵니다.
• 높은 확률의 민감도와 회전이 프라이버시, 정확도, 통신 간의 트레이드를 개선하는 방식(코롤로리/정리)을 분석합니다.
• 가우시안 기준선과 Binomial 및 회전된 Binomial 메커니즘을 MSE와 통신 측면에서 비교합니다.

실험 결과

연구 질문

• RQ1 분산 SGD에서 통신 효율성을 해치지 않으면서 차등 프라이버시를 어떻게 달성할 수 있는가?
• RQ2 이산(Binomial) 노이즈 메커니즘이 분산 평균 추정에서 가우시안 메커니즘과 비슷한 유틸리티를 제공할 수 있는가?
• RQ3 양자화 전에 임의 회전이 오차를 줄이고 프라이버시-통신 트레이드를 개선하는가?
• RQ4 고차원 그래디언트 벡터에 Binomial 기반 DP를 적용할 때의 라운드당 통신 비용과 프라이버시 보장은 무엇인가?
• RQ5 제안된 접근 방식이 MSE 및 총 전송 비트 측면에서 가우시안 메커니즘과 비교했을 때 어떻게 성능을 나타내는가?

주요 결과

• Binomial 메커니즘은 d 차원에서 ε, δ DP를 달성하며 작은 ε일 때 거의 가우시안과 유사한 유틸리티를 제공하고 표현 비트를 더 적게 필요로 합니다.
• 회전 기반 스킴(Rot(π_sk(Bin(m,p)), HA))은 MSE를 감소시키고 프라이버시 보장을 가능하게 하며, d = O(nε^2)일 때 통신 비용을 매 라운드 O(nd log log(nd/δ))로 낮춥니다.
• Binomial 기반 DP 스킴의 경우 라운드당 총 통신은 대략 n·d·(log2(k + m) + 낮은 차수 항)로 전체 고정 소수점 전송에 비해 상당한 감소를 가능하게 합니다.
• 양자화와 Binomial 노이즈를 결합하면 분산 평균 추정(DME)에서 편향 없는 평균 추정을 유지하면서 DP 보장을 제공합니다.
• 회전은 Xmax에 대한 의존성을 줄이고 Gaussian 메커니즘과 유사한 프라이버시-유틸리티를 달성하면서도 통신이 더 낮아지는 실용적 성능을 개선합니다.
• 본 논문은 통신 효율적 특성을 가진 프라이빗 분산 SGD의 빌딩 블록으로서 DP-enabled DME를 구현하는 방법을 제시합니다.