[논문 리뷰] Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors

Timothy S. Stevens, Christian Skalka외 4명|arXiv (Cornell University)|2021. 12. 13.

Privacy-Preserving Technologies in Data인용 수 12

한 줄 요약

이 논문은 학습 오차 문제(LWE)를 활용하여 높은 효율성과 강력한 프라이버시 보장을 달성하는 새로운 차별적 비공개 보안 집계 프로토콜인 FLDP를 제안한다. 계산적 차별적 비공개와 악성 공격에 견딜 수 있는 집계를 통합함으로써, FLDP는 통신 확장률을 이전 연구의 2배에서 1.7배로 감소시키고 서버 계산 시간을 몇 초로 줄여, MNIST에서 ε ≤ 2일 때 95%의 정확도, CIFAR-10에서 ε ≤ 4일 때 70%의 정확도를 기록하며 중심 모델 성능에 근접한 정확도를 확보하는 확장 가능한 학습을 가능하게 한다.

ABSTRACT

Federated machine learning leverages edge computing to develop models from network user data, but privacy in federated learning remains a major challenge. Techniques using differential privacy have been proposed to address this, but bring their own challenges -- many require a trusted third party or else add too much noise to produce useful models. Recent advances in \emph{secure aggregation} using multiparty computation eliminate the need for a third party, but are computationally expensive especially at scale. We present a new federated learning protocol that leverages a novel differentially private, malicious secure aggregation protocol based on techniques from Learning With Errors. Our protocol outperforms current state-of-the art techniques, and empirical results show that it scales to a large number of parties, with optimal accuracy for any differentially private federated learning scheme.

연구 동기 및 목표

• 신뢰할 수 있는 제3자나 과도한 통신 및 계산 오버헤드를 유발하는 기존의 차별적 비공개 페더레이티드 러닝 프로토콜의 확장성 및 효율성 한계를 해결한다.
• 신뢰할 수 있는 서버나 과도한 노이즈 없이도 차별적 비공개를 보장하는 악성 공격에 견딜 수 있는 집계 프로토콜을 개발한다.
• 중앙 모델의 차별적 비공개 성능에 근접한 정확도를 확보하면서도 실용적인 스케일링 성능을 유지를 목표로 한다.
• 학습 오차 문제(LWE)의 어려움을 활용하여 계산적 차별적 비공개와 보안 집계를 동시에 실현하면서도 최소한의 계산 비용을 유도한다.
• 제안된 프로토콜이 대규모 클라이언트 수에 대해 효율적으로 확장되어 실제 페더레이티드 러닝 시스템에 구현 가능한지를 입증한다.

제안 방법

• 학습 오차 문제(LWE) 기반의 새로운 보안 집계 프로토콜을 설계하여, 차별적 비공개에 사용되는 노이즈가 LWE의 오차 항목으로도 기능하도록 하여 이중 목적의 보안을 달성한다.
• 계산적 차별적 비공개를 위한 분산 이산 가우시안 메커니즘을 통합하여, 악성 클라이언트 및 서버 행동 조건에서도 프라이버시를 보장한다.
• 모델 업데이트의 민감도를 제한하기 위해 기울기 클리핑을 사용하여 노이즈 추가의 효과를 극대화하면서도 모델 유틸리티를 유지한다.
• 클라이언트 및 서버 간 통신의 확장 인자를 500개의 길이 20,000 벡터에 대해 2배에서 1.7배로 감소시킴으로써 통신 및 계산 최적화를 수행한다.
• 신뢰할 수 있는 제3자 없이도 클라이언트 수에 따라 효율적으로 확장 가능한 보안 다자간 계산 프레임워크를 구현한다.
• LWE의 대수적 구조를 활용하여 개별 업데이트를 폭 드러내지 않으면서도 효율적이고 검증 가능한 클라이언트 기울기 집계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 제3자가 필요 없이도 낮은 통신 및 계산 오버헤드를 유지하면서도 차별적 비공개 보안 집계 프로토콜을 설계할 수 있는가?
• RQ2 학습 오차 문제(LWE)의 어려움을 어떻게 활용하여 페더레이티드 러닝 환경에서 동시에 차별적 비공개와 보안 집계를 달성할 수 있는가?
• RQ3 제안된 프로토콜이 대규모 클라이언트 수에 대해 얼마나 잘 확장될 수 있으며, 중앙 모델의 차별적 비공개 성능과 유사한 정확도를 유지할 수 있는가?
• RQ4 악성 공격에 견딜 수 있는 페더레이티드 러닝 환경에서 프라이버시 예산(ε), 모델 정확도, 계산 효율성 간의 상호 상충 관계는 어떠한가?
• RQ5 LWE 기반 노이즈와 보안 집계를 통합하면 이전 최첨단 프로토콜에서 관찰된 바와 같이 통신 확장 인자를 2배 이하로 낮출 수 있는가?

주요 결과

• 500개의 길이 20,000의 벡터를 집계할 때 FLDP는 통신 확장 인자를 이전 연구의 2배에서 1.7배로 감소시켜 대역폭 효율성을 크게 향상시켰다.
• 서버 계산 시간은 이전 최첨단 프로토콜의 수 분에서 몇 초로 단축되었다.
• MNIST에서는 ε ≤ 2일 때 95%의 정확도를 기록하여 차별적 비공개의 중심 모델 성능과 동일한 성능을 달성했다.
• CIFAR-10에서는 ε ≤ 4일 때 70%의 정확도를 기록하여 복잡한 이미지 분류 작업에서 강력한 유틸리티를 입증했다.
• 악성 클라이언트 및 악성 서버에 대한 보안을 유지하여 신뢰할 수 있는 캘리브레이터 없이도 종단 간 프라이버시를 보장한다.
• 실증 평가를 통해 FLDP가 대규모 클라이언트 집단에 대해 효과적으로 확장되어 실제 페더레이티드 러닝 구현에 적합함을 확인했다.