[논문 리뷰] Optimal Differentially Private ADMM for Distributed Machine Learning.

Jiahao Ding, Yanmin Gong외 2명|arXiv (Cornell University)|2019. 01. 07.

Privacy-Preserving Technologies in Data인용 수 20

한 줄 요약

이 논문은 일반적인 볼록 문제에 대해 $Ó(1/K)$ 수렴 속도를 유지하고 강한 볼록 문제에 대해 선형 수렴 속도를 보장하면서도 강력한 프라이버시 보장을 제공하는, 선형 감쇠하는 분산을 가진 가우시안 노이즈를 주입하는 동적 제로-집중된 차별적 프라이버시(dynamic zCDP)를 달성하는, 차별적 프라이버시가 보장된 ADMM 알고리즘인 P-ADMM를 제안한다. 이는 실제 데이터셋에서 기존의 프라이버시가 보장된 ADMM 방법들보다 뛰어난 성능을 보인다.

ABSTRACT

Due to massive amounts of data distributed across multiple locations, distributed machine learning has attracted a lot of research interests. Alternating Direction Method of Multipliers (ADMM) is a powerful method of designing distributed machine learning algorithm, whereby each agent computes over local datasets and exchanges computation results with its neighbor agents in an iterative procedure. There exists significant privacy leakage during this iterative process if the local data is sensitive. In this paper, we propose a differentially private ADMM algorithm (P-ADMM) to provide dynamic zero-concentrated differential privacy (dynamic zCDP), by inserting Gaussian noise with linearly decaying variance. We prove that P-ADMM has the same convergence rate compared to the non-private counterpart, i.e., $\mathcal{O}(1/K)$ with $K$ being the number of iterations and linear convergence for general convex and strongly convex problems while providing differentially private guarantee. Moreover, through our experiments performed on real-world datasets, we empirically show that P-ADMM has the best-known performance among the existing differentially private ADMM based algorithms.

연구 동기 및 목표

• 민감한 데이터가 여러 에이전트에 분산 저장되는 분산 기계학습 환경에서의 프라이버시 泄露 문제를 해결하기 위해.
• 반복 계산 중 강력한 프라이버시 보장을 보장하는 차별적 프라이버시가 보장된 ADMM 변종을 설계하기 위해.
• 노이즈 주입을 통해 프라이버시를 확보하면서도 기존 ADMM의 수렴 성질을 유지하기 위해.
• 실제 데이터셋에서 차별적 프라이버시가 보장된 ADMM 알고리즘 중 최고 성능을 달성하기 위해.

제안 방법

• 각 반복 단계에서 선형 감쇠하는 분산을 가진 가우시안 노이즈를 주입하는, 차별적 프라이버시가 보장된 ADMM인 P-ADMM를 제안한다.
• 시간에 따른 프라이버시 손실을 측정하기 위해 동적 제로-집중된 차별적 프라이버시(dynamic zCDP)를 사용한다.
• 수렴 성능과 프라이버시 간 균형을 이루기 위해 반복 횟수에 비례해 선형 감쇠하는 노이즈 스케일링 전략을 적용한다.
• 에이전트가 국소적으로 계산하고 이웃 에이전트와 업데이트를 교환하는 ADMM의 반복 업데이트 구조를 유지한다.
• zCDP 복합 법칙을 이용해 프라이버시 손실의 이론적 경계를 유도함으로써 누적 프라이버시 보장을 보장한다.
• 편향된 이중 변수와 공유 변수를 사용하는 표준 ADMM 업데이트를 적용하여 차별적 프라이버시를 확보한다.

실험 결과

연구 질문

• RQ1 차별적 프라이버시가 보장된 ADMM 알고리즘이 비프라이버시 ADMM와 동일한 수렴 속도를 유지할 수 있는가?
• RQ2 반복적인 분산 최적화에 동적 zCDP를 효과적으로 적용하여 강력한 프라이버시를 확보할 수 있는가?
• RQ3 ADMM에서 프라이버시와 수렴 성능 간의 균형을 이루는 노이즈 주입 전략은 무엇인가?
• RQ4 실제 적용에서 P-ADMM는 기존의 차별적 프라이버시가 보장된 ADMM 방법들과 비교해 어떻게 성능을 냈는가?

주요 결과

• P-ADMM는 일반적인 볼록 문제에 대해 비프라이버시 ADMM와 동일한 수렴 속도를 달성하며, $Ó(1/K)$ 수렴 속도를 보인다.
• 강한 볼록 문제에 대해서는 P-ADMM가 선형 수렴을 보이며, 비프라이버시 사례와 동일한 성능을 보인다.
• 정밀하게 조정된 노이즈 주입을 통해 동적 제로-집중된 차별적 프라이버시(dynamic zCDP)를 달성한다.
• 실제 데이터셋에 대한 실험 평가 결과, P-ADMM는 기존의 차별적 프라이버시가 보장된 ADMM 기반 방법들보다 모델 정확도와 수렴 성능 측면에서 뛰어난 성능을 보였다.
• 노이즈 분산은 반복 횟수에 따라 선형 감쇠하며, 이는 모델 유틸리티를 유지하면서도 강력한 프라이버시 보장을 가능하게 한다.