[논문 리뷰] Privacy for Free: Communication-Efficient Learning with Differential Privacy Using Sketches

Tian Li, Zaoxing Liu외 2명|arXiv (Cornell University)|2019. 11. 03.

Privacy-Preserving Technologies in Data참고 문헌 46인용 수 40

한 줄 요약

논문은 DiffSketch를 소개하며, Count Sketch를 활용한 스케치 기반 프레임워크가 분산 학습에서 커뮤니케이션 효율성과 로컬 차등 프라이버시를 모두 달성하고, 프라이버시 및 커뮤니케이션 중심의 베이스라인 대비 상당한 정확도 향상을 보임을 보여준다.

ABSTRACT

Communication and privacy are two critical concerns in distributed learning. Many existing works treat these concerns separately. In this work, we argue that a natural connection exists between methods for communication reduction and privacy preservation in the context of distributed machine learning. In particular, we prove that Count Sketch, a simple method for data stream summarization, has inherent differential privacy properties. Using these derived privacy guarantees, we propose a novel sketch-based framework (DiffSketch) for distributed learning, where we compress the transmitted messages via sketches to simultaneously achieve communication efficiency and provable privacy benefits. Our evaluation demonstrates that DiffSketch can provide strong differential privacy guarantees (e.g., $\varepsilon$= 1) and reduce communication by 20-50x with only marginal decreases in accuracy. Compared to baselines that treat privacy and communication separately, DiffSketch improves absolute test accuracy by 5%-50% while offering the same privacy guarantees and communication compression.

연구 동기 및 목표

• 분산 학습에서 커뮤니케이션 효율성과 프라이버시를 공동으로 다루는 동기를 부여한다.
• Count Sketch가 본질적으로 로컬 차등 프라이버시 보장을 제공함을 보인다.
• DiffSketch를 제안하여 메시지를 압축하고 정확성을 유지하면서 프라이버시를 제공한다.

제안 방법

• Count Sketch를 압축의 빌딩 블록으로 사용하여 그래디언트/모델 업데이트를 압축하고 명확한 오차 경계(provable error bounds)를 제시한다.
• Gaussian 입력 가정 및 경계된 입력에서 Count Sketch가 로컬 차등 프라이버시를 유도함을 증명한다.
• 압축, 프라이버시 검증, 분산 SGD 및 FedAvg/Federated 설정에서 집계 및 질의를 수행하도록 DiffSketch를 개발한다.
• 스케치 기반 편향되지 않은 그래디언트 추정치를 활용하여 분산 SGD에서 볼록 목적함수의 수렴 보장을 제공한다.
• MNIST와 Shakespeare 데이터세트 전반에 걸쳐 DiffSketch를 cpSGD 및 노이즈 추가 방식과 비교 실험한다.
• 고정된 프라이버시 및 통신 수준에서 베이스라인에 비해 5%-50% 절대 정확도 향상을 시연한다.

실험 결과

연구 질문

• RQ1 분산 학습에서 추가 노이즈 없이 스케치가 고유의 로컬 차등 프라이버시를 제공할 수 있는가?
• RQ2 스케치 기반 방법을 사용할 때 통신 압축, 프라이버시 수준, 학습 정확도 사이의 균형은 무엇인가?
• RQ3 DiffSketch 같은 스케치 기반 프레임워크가 프라이버시 및 통신 중심의 베이스라인과 비교했을 때 분산 SGD 및 연합 학습(FedAvg)에서 어떻게 수행하는가?

주요 결과

• DiffSketch는 커뮤니케이션을 최대 20-50×까지 줄이면서도 정확도 손실은 미미하다.
• DiffSketch는 고정된 커뮤니케이션 수준에서 강력한 로컬 프라이버시 보장(예: ε ≈ 1)을 제공한다.
• 프라이버시와 커뮤니케이션을 분리한 베이스라인과 비교했을 때 동일한 프라이버시 및 압축에서 5%-50%의 절대 테스트 정확도 향상을 보인다.
• cpSGD와 비교했을 때 같은 프라이버시 및 커뮤니케이션 설정에서 최대 50% 더 높은 정확도를 달성한다.
• 스케치 자체가 종종 추가 노이즈를 필요 없게 하여 고유의 프라이버시 이점을 제공한다.
• 볼록 목적함수에 대한 수렴 보장은 DiffSketch가 제어된 오차로 표준 SGD 속도를 달성함을 보여준다.