[논문 리뷰] Exploring Private Federated Learning with Laplacian Smoothing.

Zhicong Liang, Bao Wang외 3명|arXiv (Cornell University)|2020. 05. 01.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 8

한 줄 요약

이 논문은 노이즈가 주입된 집계 과정에서 라플라스 스무딩을 통해 모델 유틸리티를 향상시키는 새로운 접근법인 DP-Fed-LS를 제안한다. 파라미터 평균화의 통계적 정밀도를 향상시켜, 균일 및 포isson 서브샘플링 모두에서 MNIST, SVHN, Shakespeare 데이터셋에서 더 날카운 비밀보장 범위와 더 높은 정확도를 달성하면서도, 차별적 비밀보장 보장을 훼손하지 않는다.

ABSTRACT

Federated learning aims to protect data privacy by collaboratively learning a model without sharing private data among users. However, an adversary may still be able to infer the private training data by attacking the released model. Differential privacy(DP) provides a statistical guarantee against such attacks, at a privacy of possibly degenerating the accuracy or utility of the trained models. In this paper, we apply a utility enhancement scheme based on Laplacian smoothing for differentially-private federated learning (DP-Fed-LS), where the parameter aggregation with injected Gaussian noise is improved in statistical precision. We provide tight closed-form privacy bounds for both uniform and Poisson subsampling and derive corresponding DP guarantees for differential private federated learning, with or without Laplacian smoothing. Experiments over MNIST, SVHN and Shakespeare datasets show that the proposed method can improve model accuracy with DP-guarantee under both subsampling mechanisms.

연구 동기 및 목표

• 차별적 비밀보장 하에서 페더레이티드 러닝의 비밀보장과 모델 유틸리티 간의 상충 관계를 해결하기 위해.
• 모델 유틸리티를 향상시키기 위해 가우시안 노이즈를 주입할 때 통계적 정밀도를 향상시키기 위해.
• 균일 및 포isson 서브샘플링 메커니즘 하에서 엄밀한 폐형 비밀보장 경계를 유도하기 위해.
• 라플라스 스무딩이 차별적 비밀보장 보장을 유지하면서 모델 정확도에 미치는 영향을 평가하기 위해.
• MNIST, SVHN, Shakespeare를 포함한 다양한 벤치마크 데이터셋에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 페더레이티드 러닝의 집계 단계에서 모델 파라미터에 라플라스 스무딩을 적용하여 통계적 정밀도를 향상시킨다.
• 차별적 비밀보장을 만족시키기 위해 집계 과정에 가우시안 노이즈 주입을 통합하며, 노이즈는 민감도 분석에 기반하여 캘리브레이션된다.
• 균일 및 포isson 서브샘플링 전략에 대해 고급 농도 부등식을 사용하여 폐형 비밀보장 경계를 도출한다.
• 모델 업데이트에 라플라스 스무딩을 적용하여 집계 이전에 분산을 줄이고 정확도를 향상시킨다.
• 균일 및 포isson 서브샘플링을 모두 지원하여 페더레이티드 환경에서의 클라이언트 선택을 더욱 융통성 있고 효율적으로 한다.
• 고급 DP 분석을 사용하여 비밀보장 보장을 체계적으로 도출하여, 두 서브샘플링 메커니즘 하에서 엄밀한 이론적 경계를 확보한다.

실험 결과

연구 질문

• RQ1 라플라스 스무딩은 가우시안 노이즈 주입 하에서 차별적 비밀보장 페더레이티드 러닝의 통계적 정밀도를 어떻게 향상시키는가?
• RQ2 균일 및 포isson 서브샘플링 하에서 DP-Fed-LS에 대한 가장 날카운 폐형 비밀보장 경계는 무엇인가?
• RQ3 라플라스 스무딩은 차별적 비밀보장 보장을 훼손하지 않으면서 모델 정확도를 얼마나 향상시키는가?
• RQ4 비밀보장 제약 하에서 제안된 방법은 MNIST, SVHN, Shakespeare와 같은 다양한 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 라플라스 스무딩의 통합은 기존 DP-Fed 방법에 비해 더 나은 유틸리티-비밀보장 트레이드오프를 이끌 수 있는가?

주요 결과

• 제안된 DP-Fed-LS 방법은 동일한 비밀보장 예산 하에서 기준선 DP-Fed 방법에 비해 MNIST, SVHN, Shakespeare 데이터셋에서 더 높은 모델 정확도를 달성한다.
• 균일 및 포isson 서브샘플링 모두에 대해 엄밀한 폐형 비밀보장 경계를 도출하여, 이론적 엄밀도를 향상시켰다.
• 라플라스 스무딩은 노이즈가 주입된 모델 집계의 통계적 정밀도를 크게 향상시켜 파라미터 업데이트의 분산을 감소시켰다.
• 유틸리티를 향상시키면서도 강력한 차별적 비밀보장 보장을 유지하여 유리한 비밀보장-정확도 트레이드오프를 보였다.
• 실험 결과는 라플라스 스무딩의 유틸리티 증가 효과가 다양한 데이터 분포와 모델 아키텍처에서 일관되게 나타남을 확인했다.
• 결과적으로, 라플라스 스무딩과 차별적 비밀보장의 조합은 비밀보장이 중요한 환경에서 더 효과적인 페더레이티드 러닝을 가능하게 한다.