[논문 리뷰] Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates

Minseok Ryu, Kibaek Kim|arXiv (Cornell University)|2022. 02. 18.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 여러 로컬 업데이트를 사용하는 비정확한 ADMM를 활용한 차별적(private) 페더레이티드 러닝 알고리즘을 제안한다. 목적 함수에 라플라스 노이즈를 도입하여 $¯{\epsilon}$-차별적 비밀보장성을 확보한다. 동일한 비밀보장 예산을 유지하면서 MNIST 및 FEMNIST에서 이전 DP 알고리즘보다 최대 31% 낮은 테스트 오차를 달성하여 정확도-비밀보장 균형을 향상시키고 수렴 속도를 빠르게 한다.

ABSTRACT

Differential privacy (DP) techniques can be applied to the federated learning model to statistically guarantee data privacy against inference attacks to communication among the learning agents. While ensuring strong data privacy, however, the DP techniques hinder achieving a greater learning performance. In this paper we develop a DP inexact alternating direction method of multipliers algorithm with multiple local updates for federated learning, where a sequence of convex subproblems is solved with the objective perturbation by random noises generated from a Laplace distribution. We show that our algorithm provides $\barε$-DP for every iteration, where $\barε$ is a privacy budget controlled by the user. We also present convergence analyses of the proposed algorithm. Using MNIST and FEMNIST datasets for the image classification, we demonstrate that our algorithm reduces the testing error by at most $31\%$ compared with the existing DP algorithm, while achieving the same level of data privacy. The numerical experiment also shows that our algorithm converges faster than the existing algorithm.

연구 동기 및 목표

• 페더레이티드 러닝에서 데이터 비밀보장성과 학습 성능 간의 균형을 개선하기 위해.
• 강력한 차별적 비밀보장을 보장하는 통신 효율적이고 비밀보장성 있는 최적화 알고리즘을 개발하기 위해.
• 동일한 비밀보장 예산 하에서 기존의 차별적 비밀보장 페더레이티드 러닝 방법보다 더 높은 해법 정확도를 향상시키기 위해.
• 목적 함수 편향을 통해 데이터 비밀보장을 유지하면서 더 빠른 수렴과 더 나은 일반화 성능을 달성하기 위해.

제안 방법

• 비정확한 다중변수 승화 방법(IADMM)을 사용하여 분산 방식으로 일련의 볼록 하위문제를 해결한다.
• 모든 반복에서 $¯{\epsilon}$-차별적 비밀보장을 보장하기 위해 목적 함수에 라플라스 분포 노이즈를 주입함으로써 목적 함수 편향을 적용한다.
• 통신 라운드당 다수의 로컬 업데이트를 도입하여 통신 오버헤드를 줄이고 수렴 속도를 향상시킨다.
• 수렴과 비밀보장을 균형 잡기 위해 적응 규칙에 기반한 동적 페널티 파라미터 $\rho^{t}$를 활용한다.
• 비밀보장 제약 조건 하에서 비정확한 ADMM 프레임워크 내에서 이론적 수렴 보장을 유도한다.
• MNIST 및 FEMNIST 데이터셋에서의 실험적 평가를 위해 다중 클래스 로지스틱 회귀 모델을 사용한다.

실험 결과

연구 질문

• RQ1 차별적 비밀보장 페더레이티드 러닝 프레임워크에서 다수의 로컬 업데이트가 수렴 속도와 모델 정확도를 향상시키는가?
• RQ2 페더레이티드 러닝에서 출력 편향 대비 라플라스 노이즈를 사용한 목적 함수 편향이 더 나은 비밀보장-정확도 균형을 제공하는가?
• RQ3 다수의 로컬 업데이트를 포함한 제안된 비정확한 ADMM는 기존 DP-FL 방법과 비교해 테스트 오차와 수렴 속도 측면에서 어떻게 다른가?
• RQ4 적응형 페널티 파라미터 선택은 페더레이티드 러닝에서 차별적 비밀보장 ADMM의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 동일한 비밀보장 예산 하에서 MNIST 및 FEMNIST 데이터셋에서 최신 기술 대비 최대 31% 낮은 테스트 오차를 달성한다.
• 반복 횟수에 따른 훈련 손실 감소를 통해 기존 DP-FL 방법보다 더 빠른 수렴을 보여주었다.
• 이론적 분석을 통해 알고리즘이 모든 반복에서 $¯{\epsilon}$-차별적 비밀보장을 제공함을 확인하였으며, 비밀보장 예산은 사용자가 제어할 수 있다.
• 실험 결과는 페널티 파라미터 $\rho^{t}$의 다양한 선택에 대해 성능이 뛰어나게 안정적이며, 동적 적응이 안정적인 결과를 도출함을 보여주었다.
• 목적 함수 편향의 사용은 출력 편향 대비 더 정확한 해법을 도출함으로써 비밀보장-정확도 균형에서의 우월성을 입증하였다.