[논문 리뷰] Differentially Private ADMM for Distributed Medical Machine Learning

Jiahao Ding, Xiaoqi Qin외 4명|arXiv (Cornell University)|2019. 01. 07.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 6

한 줄 요약

이 논문은 분산 의료 기계 학습을 위한 차별적(private) 보조 변수 방법(ADMM)인 P-ADMM를 제안한다. 이 방법은 동적으로 영구적 중심 차분(Zero-Concentrated Differential Privacy, zCDP)을 달성하기 위해 선형 감쇠하는 분산을 가진 가우시안 노이즈를 주입함으로써 동적 zCDP를 실현한다. 비공개 상태의 ADMM와 동일한 수렴 속도—일般 볼록 문제에 대해 O(1/K), 강력 볼록 문제에 대해 선형 수렴—유지하면서도 강력한 프라이버시 보장을 제공하며, 실제 의료 데이터셋에서 기존의 프라이버시 보장 기반 ADMM 방법들을 경쟁적으로 능가하는 성능을 보인다.

ABSTRACT

Due to massive amounts of data distributed across multiple locations, distributed machine learning has attracted a lot of research interests. Alternating Direction Method of Multipliers (ADMM) is a powerful method of designing distributed machine learning algorithm, whereby each agent computes over local datasets and exchanges computation results with its neighbor agents in an iterative procedure. There exists significant privacy leakage during this iterative process if the local data is sensitive. In this paper, we propose a differentially private ADMM algorithm (P-ADMM) to provide dynamic zero-concentrated differential privacy (dynamic zCDP), by inserting Gaussian noise with linearly decaying variance. We prove that P-ADMM has the same convergence rate compared to the non-private counterpart, i.e., $\mathcal{O}(1/K)$ with $K$ being the number of iterations and linear convergence for general convex and strongly convex problems while providing differentially private guarantee. Moreover, through our experiments performed on real-world datasets, we empirically show that P-ADMM has the best-known performance among the existing differentially private ADMM based algorithms.

연구 동기 및 목표

• 민감한 데이터가 여러 위치에 분산 저장되는 분산 의료 기계 학습 환경에서의 프라이버시 泄露 문제를 해결하기 위해.
• 에이전트 간 반복적 통신 과정에서 프라이버시를 보존하는 분산 최적화 알고리즘을 설계하기 위해.
• 표준 ADMM의 수렴 성질을 유지하면서도 강력한 프라이버시 보장을 제공하기 위해.
• 실제 의료 데이터셋에서 제안된 방법의 성능을 기존의 프라이버시 보장 기반 ADMM 접근법들과 비교하여 실증적으로 평가하기 위해.

제안 방법

• 각 반복 단계에서 선형 감쇠하는 분산을 가진 가우시안 노이즈를 주입하여 동적 영구적 중심 차분(Zero-Concentrated Differential Privacy, dynamic zCDP)을 보장하는, ADMM의 프라이버시 보장 기반 변형인 P-ADMM를 제안한다.
• 수렴 정확도와 프라이버시 간의 균형을 맞추기 위해 반복 횟수에 따라 선형 감쇠하는 방식으로 노이즈 분산을 조절하는 전략을 도입한다.
• 각 에이전트가 국소 계산을 수행하고 이웃 에이전트와는 오직 노이즈가 주입된 중간 결과만 교환하도록 표준 ADMM 프레임워크를 변형한다.
• 반복 과정 전반에 걸친 총 프라이버시 손실을 엄밀하게 제한하기 위해 zCDP 프레임워크를 활용한 고급 프라이버시 회계 기법을 사용한다.
• 누적 프라이버시 손실이 사용자가 정의한 이psilon 유사 기준 내에 머무르도록 보장하는 프라이버시 예산 할당 전략을 적용한다.
• 표준 ADMM와 동일한 알고리즘 구조를 유지하면서도 각 업데이트 단계에서 프라이버시 보장 노이즈 주입을 통합한다.

실험 결과

연구 질문

• RQ1 수렴 속도를 희생시키지 않고도 강력한 차별적 프라이버시 보장을 제공할 수 있는 분산 ADMM 알고리즘을 설계할 수 있는가?
• RQ2 노이즈 분산 스케줄의 선택이 반복적 분산 학습에서 프라이버시와 모델 정확도 간의 트레이드오프에 미치는 영향은 어떠한가?
• RQ3 제안된 방법이 프라이버시 제약 조건 하에서도 비공개 상태의 ADMM와 동일한 수렴 속도를 유지하는가?
• RQ4 실제 의료 데이터셋에서 P-ADMM는 기존의 프라이버시 보장 기반 ADMM 기반 방법들과 비교해 성능 면에서 어떻게 다른가?

주요 결과

• P-ADMM는 선형 감쇠하는 분산을 가진 정밀한 가우시안 노이즈 스케줄링을 통해 동적 영구적 중심 차분(Zero-Concentrated Differential Privacy, dynamic zCDP)을 달성한다.
• 알고리즘은 비공개 상태의 ADMM와 동일한 수렴 속도를 유지한다: 일반 볼록 문제에 대해 O(1/K), 강력 볼록 문제에 대해 선형 수렴.
• 실제 의료 데이터셋에 대한 실증 평가 결과, P-ADMM는 기존의 프라이버시 보장 기반 ADMM 기반 방법들보다 모델 정확도와 수렴 속도 면에서 뛰어난 성능을 보였다.
• zCDP 회계 기법을 통해 반복 과정 전반에 걸친 프라이버시 예산이 효과적으로 관리되어 엄밀한 프라이버시 보장을 확보하였다.
• 데이터가 분산되어 있고 프라이버시가 핵심적인 의료 기계 학습 환경에서 본 방법은 높은 실용적 유용성을 입증하였다.