[논문 리뷰] Improving the Privacy and Accuracy of ADMM-Based Distributed Algorithms

Xueru Zhang, Mohammad Mahdi Khalili외 1명|arXiv (Cornell University)|2018. 06. 06.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 41

한 줄 요약

본 논문은 ADMM 기반 분산 학습에서 차등 프라이버시를 달성하기 위해 패널티-교란 방법(PP이 적용된 비공개 M-ADMM)을 도입하고, 수렴을 입증하며 Adult 데이터셋 실험을 통해 기존의 이중/자유 교란 방식에 비해 정확도와 프라이버시가 향상됨을 보여준다.

ABSTRACT

Alternating direction method of multiplier (ADMM) is a popular method used to design distributed versions of a machine learning algorithm, whereby local computations are performed on local data with the output exchanged among neighbors in an iterative fashion. During this iterative process the leakage of data privacy arises. A differentially private ADMM was proposed in prior work (Zhang & Zhu, 2017) where only the privacy loss of a single node during one iteration was bounded, a method that makes it difficult to balance the tradeoff between the utility attained through distributed computation and privacy guarantees when considering the total privacy loss of all nodes over the entire iterative process. We propose a perturbation method for ADMM where the perturbed term is correlated with the penalty parameters; this is shown to improve the utility and privacy simultaneously. The method is based on a modified ADMM where each node independently determines its own penalty parameter in every iteration and decouples it from the dual updating step size. The condition for convergence of the modified ADMM and the lower bound on the convergence rate are also derived.

연구 동기 및 목표

• 노드에 분산된 데이터가 있는 ADMM 기반 분산 학습에서 프라이버시 문제를 제시한다.
• 각 노드가 반복마다 독립적으로 페널티 매개변수 값을 선택할 수 있는 수정된 ADMM(M-ADMM)을 제안한다.
• 반복 과정에서 ε-차등 프라이버시를 달성하기 위해 패널티 교란(PP) 메커니즘을 도입한다.
• 비공개 알고리즘의 수렴을 증명하고 수렴 속도에 대한 하한을 제시한다.
• 실험을 통해 프라이빗 페널티를 증가시키면 기존 방법에 비해 프라이버시 보장과 유용성이 모두 향상될 수 있음을 보인다.

제안 방법

• 각 이터레이션에서 각 노드가 독립적으로 페널티 매개변수 ηi(t+1)을 선택하도록 수정된 ADMM(M-ADMM)을 형식화한다.
• 노드 프라이빗 페널티 하에서 간소화된 ADMM 업데이트를 도출한다: 교란된 목표(식(10))를 통한 fi(t+1) 및 식(11)의 λi(t+1).
• 일반적인 볼록성 가정과 네트워크 라플라시안 특성 하에서 ERM 최적해로의 M-ADMM 수렴을 입증한다(정리 3.1, 3.2).
• 패널티 항에 임의 벡터 εi(t+1)를 추가하여 패널티-교란(PP) 방식을 도입하고, 프라이빗한 원자 업데이트를 유도한다(식(25)).
• 반복적 분산 프로세스에 대한 β-차등 프라이버시 보장을 정의한다(정의 4.1 및 정리 4.1).
• PP에 대한 알고리즘 1을 제공하고, 총 프라이버시 손실(β)을 제약하고 수렴을 보장하기 위한 매개변수 선택 조건을 포함한다.

실험 결과

연구 질문

• RQ1 노드 프라이빗 페널티 매개변수가 매 이터레이션에서 ADMM의 프라이버시를 유지하면서 수렴을 보장할 수 있는가?
• RQ2 교란 메커니즘이 전체 이터레이션 과정에서 프라이버시 손실과 알고리즘 유용성 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 반복마다 프라이빗 페널티를 증가시키는 것이 기존 DP-ADMM 방법에 비해 프라이버시 보장과 정확성을 함께 향상시키는가?
• RQ4 제안된 비공개 M-ADMM의 수렴 조건 및 표준 볼록성 및 리프시츠 가정 하의 속도 한계는 무엇인가?

주요 결과

• 노드 프라이빗 페널티를 갖는 수정된 ADMM은 볼록성 및 한계 조건에서 ERM 최적해로 수렴한다(정리 3.1 및 정리 3.2).
• 패널티 교란과 함께 프라이빗 ηi(t)를 사용하는 방식은 프라이버시와 정확도를 모두 향상시키며, 기존의 이중 변수 교란(DVP) 방법보다 더 안정적이고 더 높은 정확도를 보인다.
• 반복에 걸쳐 프라이빗 페널티 매개변수를 증가시키면 노이즈에 대한 로버스트성이 향상되어 정확도와 프라이버시가 함께 개선된다(도표 1–2).
• PP 방법은 정리 4.1에 따라 T회 반복에서 β-차등 프라이버시를 달성하며, 이 보장은 노드 데이터 크기와 이터레이션 수에 비례해 확장된다.
• Adult 데이터셋에서 로지스틱 손실을 사용한 실험 결과, 적절한 PP 설정이 다양한 규모의 네트워크에서 DVP보다 정확도와 프라이버시 면에서 우수함을 보인다(도표 2–4).
• 이 기법은 분류를 넘어서 수렴성과 프라이버시 분석이 성립하는 다른 ADMM 기반 분산 알고리즘에도 일반화될 수 있다.