[논문 리뷰] FastSecAgg: Scalable Secure Aggregation for Privacy-Preserving Federated Learning

Swanand Kadhe, Nived Rajaraman외 2명|arXiv (Cornell University)|2020. 09. 23.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 113

한 줄 요약

FastSecAgg는 FFT 기반 다중 비밀 공유 스킴(FastShare)을 도입하여 드롭아웃 허용 및 적응적 적대자에 대응하는 확장 가능하고 안전한 연합 학습 집계를 가능하게 한다.

ABSTRACT

Recent attacks on federated learning demonstrate that keeping the training data on clients' devices does not provide sufficient privacy, as the model parameters shared by clients can leak information about their training data. A 'secure aggregation' protocol enables the server to aggregate clients' models in a privacy-preserving manner. However, existing secure aggregation protocols incur high computation/communication costs, especially when the number of model parameters is larger than the number of clients participating in an iteration -- a typical scenario in federated learning. In this paper, we propose a secure aggregation protocol, FastSecAgg, that is efficient in terms of computation and communication, and robust to client dropouts. The main building block of FastSecAgg is a novel multi-secret sharing scheme, FastShare, based on the Fast Fourier Transform (FFT), which may be of independent interest. FastShare is information-theoretically secure, and achieves a trade-off between the number of secrets, privacy threshold, and dropout tolerance. Riding on the capabilities of FastShare, we prove that FastSecAgg is (i) secure against the server colluding with 'any' subset of some constant fraction (e.g. $\sim10\%$) of the clients in the honest-but-curious setting; and (ii) tolerates dropouts of a 'random' subset of some constant fraction (e.g. $\sim10\%$) of the clients. FastSecAgg achieves significantly smaller computation cost than existing schemes while achieving the same (orderwise) communication cost. In addition, it guarantees security against adaptive adversaries, which can perform client corruptions dynamically during the execution of the protocol.

연구 동기 및 목표

• 업데이트로 인해 정보가 유출될 수 있는 연합 학습에서 프라이버시 우려를 제기한다.
• 다수의 클라이언트와 고차원 업데이트에 대해 확장 가능한 보안 집계 프로토콜을 설계한다.
• 개인 정보를 보장하면서 클라이언트 드롭아웃에 대한 견고성을 제공한다.
• 적응적 적대자 하에서도 강력한 보안을 달성한다.
• 이전 연구에 비해 실용적인 계산 및 통신 효율성을 개선한다.

제안 방법

• 유한체 FFT를 기반으로 한 다중 비밀 공유 스킴 FastShare를 제안하여, 일정 비율의 협력으로 묶인 클라이언트에 대해 정보 이론적 프라이버시를 가진 S개의 비밀을 N명의 클라이언트 간 공유한다.
• FastShare를 FastSecAgg의 구성 블록으로 사용하여 클라이언트 업데이트 합계의 보안 계산을 수행한다.
• 효율적인 공유 생성 및 복구를 가능하게 하기 위해 2D 격자 표현과 나머지 정리(CRT: Chinese Remainder Theorem)를 활용한다.
• T-privacy 임계값과 D- dropout 내성을 갖는 형식적 프라이버시 보장을 제공한다.
• 계산 및 통신 비용을 분석하고 기존의 보안 집계 프로토콜과 비교한다.

실험 결과

연구 질문

• RQ1 FastShare가 서로 정보를 누설하지 않는 정보 이론적 프라이버시를 바탕으로, 협력하는 클라이언트 부분집합에 대해 다중 비밀을 안전하게 공유할 수 있는가?
• RQ2 현실적인 드롭아웃 비율을 허용하면서 서버 계산을 더 낮추는 안전한 집계가 FastSecAgg를 통해 달성될 수 있는가?
• RQ3 FFT 기반 스킴에서 프라이버시 임계값, 드롭아웃 내성, 효율성 간의 균형은 무엇인가?
• RQ4 적응적 적대자하에서 FastSecAgg의 성능은 비적응적 모델과 비교하여 어떤가?

주요 결과

• FastShare는 일정 비율의 클라이언트로 구성된 협력 부분집합에 대한 정보 이론적 프라이버시와 높은 확률의 드롭아웃 허용을 달성한다.
• FastSecAgg는 기존의 보안 집계 스킴에 비해 서버 계산을 감소시키면서도 비슷한 차수의 통신 비용을 유지한다.
• 이 프로토콜은 실행 중에 클라이언트를 손상시킬 수 있는 적응적 적대자도 견딘다.
• N명의 클라이언트와 길이-L 업데이트의 경우, 서버는 O(L log N) 계산과 O(LN + N^2)의 통신으로 계산하며, 각 클라이언트는 O(L log N) 계산과 O(L + N)의 통신을 부담한다.
• FastShare는 더 넓은 보안 MPC 작업에 적용 가능한 실용적이고 확장 가능한 보안 집계 원시를 가능하게 한다.