[논문 리뷰] A Hybrid Approach to Privacy-Preserving Federated Learning

Stacey Truex, Nathalie Baracaldo외 5명|arXiv (Cornell University)|2018. 12. 07.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 70

한 줄 요약

이 논문은 차등 프라이버시와 안전 다자간 계산을 tunable trust threshold와 결합한 연합 학습 시스템을 제안하여, 다중 모델 유형에서 형식적 프라이버시 보장을 제공하는 동시에 로컬 DP보다 더 높은 정확도를 달성한다.

ABSTRACT

Federated learning facilitates the collaborative training of models without the sharing of raw data. However, recent attacks demonstrate that simply maintaining data locality during training processes does not provide sufficient privacy guarantees. Rather, we need a federated learning system capable of preventing inference over both the messages exchanged during training and the final trained model while ensuring the resulting model also has acceptable predictive accuracy. Existing federated learning approaches either use secure multiparty computation (SMC) which is vulnerable to inference or differential privacy which can lead to low accuracy given a large number of parties with relatively small amounts of data each. In this paper, we present an alternative approach that utilizes both differential privacy and SMC to balance these trade-offs. Combining differential privacy with secure multiparty computation enables us to reduce the growth of noise injection as the number of parties increases without sacrificing privacy while maintaining a pre-defined rate of trust. Our system is therefore a scalable approach that protects against inference threats and produces models with high accuracy. Additionally, our system can be used to train a variety of machine learning models, which we validate with experimental results on 3 different machine learning algorithms. Our experiments demonstrate that our approach out-performs state of the art solutions.

연구 동기 및 목표

• 프라이버시 또는 법적 제약으로 데이터 공유가 제한되는 연합 학습 시나리오를 동기화한다.
• 모델 정확도를 유지하면서 형식적 프라이버시 보장을 제공한다.
• 프라이버시 보장을 갖춘 연합 설정에서 다수 ML 모델을 지원하는 확장 가능한 시스템을 개발한다.
• 공동 작업자 간의 협력 및 신뢰 수준 변화에 대응하기 위한 tunable 트러스트 파라미터를 도입한다.

제안 방법

• 임계 Paillier 암호화 체계를 사용하여 차등 프라이버시와 안전 다자간 계산을 통합한다.
• 집계기가 소음이 있는 암호화된 응답을 수집하고, 비협조 파티의 임계 수에서만 집계 해독을 수행하도록 한다.
• SMC와 신뢰 파라미터 t를 활용하여 암호화로 노이즈를 조정하고 DP의 노이즈를 감소시킨다.
• 프라이버시 제약하에서 의사 결정 트리, CNN, 선형 SVM 등 다양한 모델의 엔드투엔드 학습을 지원한다.
• 비공개 연합 학습 단계의 알고리즘(Algorithm 1)을 제시하여 엔드투엔드 절차를 개요화한다.

실험 결과

연구 질문

• RQ1 차등 프라이버시와 안전 다자간 계산의 조합이 정확도를 손상시키지 않으면서 연합 학습에서 형식적 프라이버시 보장을 제공할 수 있는가?
• RQ2 신뢰 파라미터 t가 노이즈 수준, 정확도 및 협력 회피에 대한 저항성에 어떤 영향을 미치는가?
• RQ3 프라이버시 보장을 갖춘 연합 설정에서 의사 결정 트리, CNN, SVM 등 다양한 모델 계열에 걸쳐 방법이 효과적인가?
• RQ4 참가자 수 증가 및 암호화 오버헤드 증가에 따른 시스템의 확장성은 어떠한가?

주요 결과

• 하이브리드 DP+SMC 방식은 로컬 DP보다 더 높은 정확도를 제공하면서 형식적 프라이버시 보장을 유지한다.
• 임계 Paillier 암호화를 활용하여 노이즈를 줄이면 협력 위험이 신뢰 파라미터에 의해 완화되면서 정확도가 증가한다.
• 이 방법은 의사 결정 트리, 합성곱 신경망(CNN), 선형 SVM 등 세 가지 서로 다른 모델 유형에서 입증된다.
• 실험은 다중 당사자에 걸친 확장을 보여주며, 당사자 수 증가에 따라 암호화 오버헤드가 비교적 안정적으로 유지된다.
• 이 접근법은 보고된 작업들에서 최첨단 프라이버시 보장 FL 기반선보다 우수한 성능을 보인다.