[논문 리뷰] Differentially Private Learning with Adaptive Clipping

Galen Andrew, Om Thakkar외 2명|arXiv (Cornell University)|2019. 05. 09.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 89

한 줄 요약

이 논문은 DP-FedAvg 동안 사용자별 업데이트 노름의 목표 분위수(예: 중앙값)로의 비공개 추정 및 클리핑을 제안하여 고정 임계값을 조정하지 않고도 적응적이고 비공개인 클리핑을 가능하게 하며, 연합 학습 전반에서 강한 유용성을 보임을 보인다.

ABSTRACT

Existing approaches for training neural networks with user-level differential privacy (e.g., DP Federated Averaging) in federated learning (FL) settings involve bounding the contribution of each user's model update by clipping it to some constant value. However there is no good a priori setting of the clipping norm across tasks and learning settings: the update norm distribution depends on the model architecture and loss, the amount of data on each device, the client learning rate, and possibly various other parameters. We propose a method wherein instead of a fixed clipping norm, one clips to a value at a specified quantile of the update norm distribution, where the value at the quantile is itself estimated online, with differential privacy. The method tracks the quantile closely, uses a negligible amount of privacy budget, is compatible with other federated learning technologies such as compression and secure aggregation, and has a straightforward joint DP analysis with DP-FedAvg. Experiments demonstrate that adaptive clipping to the median update norm works well across a range of realistic federated learning tasks, sometimes outperforming even the best fixed clip chosen in hindsight, and without the need to tune any clipping hyperparameter.

연구 동기 및 목표

• 연합 평균화(Federated Averaging)를 사용하는 사용자 수준 DP에서 고정된 클리핑 노름을 선택하는 것이 얼마나 어려운지 동기를 제시한다.
• 업데이트의 특정 노름 분위수(예: 중앙값)를 추적하기 위한 비공개로 추정 가능한 분위수 클리핑 메커니즘을 도입한다.
• 적응형 클리핑이 DP-FedAvg, 압축 및 보안 집계와의 호환성을 보여준다.
• 현실적인 FL 작업 전반에서 적응형 클리핑과 고정 클리핑을 경험적으로 비교하고, 조정 없이도 고정 클리핑과 비견되거나 더 우수한 시나리오를 보인다.

제안 방법

• 업데이트 노름의 감마 분위수를 산출하는 분위수 기반 클리핑 손실을 정의한다.
• 업데이트 노름 분포의 감마 분위수 쪽으로 임계값 C를 추적하기 위해 기하 업데이트를 포함한 온라인 경사 하강법(온라인 gradient descent)을 사용한다.
• C를 업데이트하기 전에 카운트에 가우시안 노이즈를 추가하여 잘린 업데이트 지시자 합을 비공개로 추정하고 차등 프라이버시를 보장한다.
• 서버 모멘텀과 비공개 적응형 클리핑으로 FedAvg를 보강하여 DP-FedAvg-M을 얻고, 명시된 등가를 통해 그 프라이버시를 비적응 DP-FedAvg와 연관시킨다.
• 실용적인 기본값(예: sigma_b = m/20, eta_C = 0.2)과 분위수 추적 과정에 대한 프라이버시 분석을 제공한다.
• 각 라운드에 걸친 RDP 합성 하에서 분위수 추정 시퀀스가 (0.034, n^{-1.1})-DP를 만족한다는 DP 계정 결과를 제시한다.

실험 결과

연구 질문

• RQ1 대상 업데이트 노름 분위수(예: 중앙값)으로의 적응형 클리핑이 하이퍼파라미터 조정 없이 고정 클리핑과 비교하여 DP-FedAvg에 더 나은 또는 비슷한 유용성을 제공할 수 있는가?
• RQ2 연합 설정에서 업데이트 노름 분포의 분위수를 추적하기 위해 클리핑 임계값을 비공개이고 효율적으로 업데이트하는 방법은?
• RQ3 고정 클리핑과 비교했을 때 적응형 분위수 클리핑이 프라이버시 손실과 노이즈 증폭에 미치는 영향은?
• RQ4 DP-FedAvg-M이 압축, 보안 집계와 같은 일반적인 FL 기술과 프라이버시 보장을 유지하면서 호환되는가?

주요 결과

• 중앙값(감마 = 0.5)으로의 적응형 클리핑은 여러 작업에서 일반적으로 비클리핑 기준선 대비 성능을 개선하거나 일치한다.
• 대부분의 작업에서 적응형 클리핑은 역사를 돌려 보았을 때 선택된 어떤 고정 클립과도 동등하거나 더 나은 성능을 보이며 하이퍼파라미터 조정이 필요 없다.
• 고정 클리핑과 비교하여 동일한 프라이버시 예산에서 적응적 접근이 더 높은 유용성을 자주 제공하며 클리핑 하이퍼파라미터 조정이 필요 없다.
• 제안된 적응형 클리핑을 갖춘 DP-FedAvg-M은 압축 및 보안 집계와 여전히 호환된다.
• 기하 업데이트를 사용하는 분위수 추적은 목표 분위수로 수렴하며, 추가 프라이버시 비용이 작게 들어 비공개가 가능하다(예: m이 큰 경우에는 무시해도 됨).
• 실용적인 기본값(sigma_b = m/20, eta_C = 0.2)으로 적응적 방법은 DP 보장을 달성하면서 업데이트에 약간의 추가 노이즈만 발생시킨다.