[논문 리뷰] Differentially Private ADMM for Convex Distributed Learning: Improved Accuracy via Multi-Step Approximation

Zonghao Huang, Yanmin Gong|arXiv (Cornell University)|2020. 05. 16.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 7

한 줄 요약

이 논문은 복수의 단계에 걸친 근사적 업데이트와 보정된 노이즈 주입을 통해 유티리티를 향상시키는 볼록 분산 학습을 위한 비밀성 보장 ADMM 알고리즘을 제안한다. 각 반복에서 노드당 복수의 원시 변수 업데이트를 허용하고 국소 목표 함수 근사화를 활용함으로써, 이 방법은 상태최선의 비밀성 보장 경험 리스크 최소화와 점 渐진적으로 일치하는 오차 한계를 달성하여, 비밀성-유티리티 트레이드오프를 크게 향상시킨다.

ABSTRACT

Alternating Direction Method of Multipliers (ADMM) is a popular algorithm for distributed learning, where a network of nodes collaboratively solve a regularized empirical risk minimization by iterative local computation associated with distributed data and iterate exchanges. When the training data is sensitive, the exchanged iterates will cause serious privacy concern. In this paper, we aim to propose a new differentially private distributed ADMM algorithm with improved accuracy for a wide range of convex learning problems. In our proposed algorithm, we adopt the approximation of the objective function in the local computation to introduce calibrated noise into iterate updates robustly, and allow multiple primal variable updates per node in each iteration. Our theoretical results demonstrate that our approach can obtain higher utility by such multiple approximate updates, and achieve the error bounds asymptotic to the state-of-art ones for differentially private empirical risk minimization.

연구 동기 및 목표

• 훈련 데이터가 민감할 경우 분산 ADMM에서 비밀성을 유지하는 데 도전하는 문제를 해결하기 위해.
• 볼록 최적화 문제를 위한 비밀성 보장 분산 학습에서 비밀성-유티리티 트레이드오프를 향상시키기 위해.
• 강력한 수렴 보장을 유지하면서도, 견고한 노이즈 보정을 통해 비밀성 보장이 이루어지는 알고리즘을 설계하기 위해.
• 반복마다 복수의 근사적 업데이트가 비밀성 손실 없이 유티리티를 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 각 반복에서 노드당 복수의 근사적 원시 변수 업데이트를 수행하는 새로운 비밀성 보장 ADMM 프레임워크를 도입한다.
• 강력한 노이즈 통합을 위해 국소 목표 함수 근사화를 활용한다.
• 비밀성 예산 할당을 고려한 시간에 따라 변화하는 가우시안 노이즈를 사용하여 (ε,δ)-비밀성 보장 보장한다.
• 각 노드가 ADMM 반복마다 l개의 근사 업데이트를 수행하는 다단계 업데이트 전략을 적용하여 수렴성과 유티리티를 향상시킨다.
• 강력한 볼록성과 리프시츠 기울기 가정을 바탕으로 초과 경험 리스크와 타당성 위반에 대한 이론적 한계를 유도한다.
• 노이즈가 존재하는 상황에서도 수렴 안정성을 유지하기 위해 이중 변수 업데이트와 페널티 파라미터 동역학을 통합한다.

실험 결과

연구 질문

• RQ1 각 ADMM 반복에서 노드당 복수의 근사적 업데이트가 비밀성 보장 분산 학습의 유티리티를 향상시킬 수 있는가?
• RQ2 국소 목표 함수 근사화는 수렴성을 유지하면서 어떻게 견고한 노이즈 주입을 가능하게 하는가?
• RQ3 제안된 방법의 이론적 오차 한계는 현재의 최상위 비밀성 보장 경험 리스크 최소화 기법과 비교해 어떻게 되는가?
• RQ4 수렴 속도를 훼손하지 않으면서 비밀성-유티리티 트레이드오프를 크게 향상시킬 수 있는가?
• RQ5 다단계 업데이트 전략은 초과 경험 리스크와 타당성 위반에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 비밀성 보장 경험 리스크 최소화의 최상위 기준과 점 渐진적으로 일치하는 초과 경험 리스크 한계를 달성한다.
• t번의 반복과 l개의 근사 업데이트를 가정할 때 오차 한계는 O(1/√(t·l))로 표현되며, 단일 업데이트 방법보다 유티리티가 향상된다.
• 이론적 분석을 통해 반복마다 복수의 업데이트가 노이즈가 수렴에 미치는 영향을 줄여 유티리티를 향상시킨다는 것이 확인된다.
• 국소 기울기와 데이터 민감도를 기반으로 한 정교한 노이즈 보정을 통해 (ε,δ)-비밀성 보장이 유지된다.
• 실세계 데이터셋을 대상으로 한 수치 실험 결과, DP-ADMM 및 Recycled ADMM와 같은 이전 연구들에 비해 향상된 비밀성-유티리티 트레이드오프를 확인할 수 있다.
• 기본 가정 하에 초과 경험 리스크의 수렴 속도는 O(1/√t)이며, 이는 비밀성 최적화의 알려진 한계와 일치한다.