[논문 리뷰] Practical Secure Aggregation for Federated Learning on User-Held Data

Kallista Bonawitz, Vladimir Ivanov외 7명|arXiv (Cornell University)|2016. 11. 14.

Privacy-Preserving Technologies in Data참고 문헌 11인용 수 188

한 줄 요약

실용적이면서 커뮤니케이션 효율이 높은 연합 학습의 보안 집계 프로토콜을 제안하여 사용자 이탈을 허용하고 서버 및 다른 사용자로부터 개별 그래디언트를 보호합니다. 고차원 모델에 대한 notable 커뮤니케이션 확장 개선을 달성합니다.

ABSTRACT

Secure Aggregation protocols allow a collection of mutually distrust parties, each holding a private value, to collaboratively compute the sum of those values without revealing the values themselves. We consider training a deep neural network in the Federated Learning model, using distributed stochastic gradient descent across user-held training data on mobile devices, wherein Secure Aggregation protects each user's model gradient. We design a novel, communication-efficient Secure Aggregation protocol for high-dimensional data that tolerates up to 1/3 users failing to complete the protocol. For 16-bit input values, our protocol offers 1.73x communication expansion for $2^{10}$ users and $2^{20}$-dimensional vectors, and 1.98x expansion for $2^{14}$ users and $2^{24}$ dimensional vectors.

연구 동기 및 목표

• 연합 학습에서 보안 집계의 필요성을 제시하여 중앙 서버로 전송되는 사용자 그래디언트를 보호합니다.
• 사용자 이탈에 강하고 고차원 벡터에 확장 가능한 실용적 프로토콜을 설계합니다.
• 서버가 집계만 학습하고 사용자가 다른 입력에 대해 아무것도 알지 못하도록 보안을 보장합니다.
• 제안된 프로토콜에 대한 커뮤니케이션 및 컴퓨테이션의 트레이드오프를 정량화합니다.

제안 방법

• 다양한 위협 모델(T1–T3)에서 개인 정보를 보존하는 이중 마스킹 방식으로 최종적으로 수렴하는 일련의 프로토콜을 개발합니다.
• 일부 사용자가 이탈할 때 견고한 집계를 허용하기 위해 일회성 쌍방 패드와 비밀 공유 라운드를 사용합니다.
• 악의적인 서버에 대응하기 위해 보조 마스크를 갖춘 이중 마스킹 접근 방식을 도입합니다.
• Diffie-Hellman 기반의 키 교환으로 개별 쌍의 비밀을 효율적으로 도출하고 PRG를 통해 고차원 벡터로 시드를 확장합니다.
• 프로토콜 간의 사용자 및 서버 오버헤드를 비교한 성능 및 비용 요약을 제공합니다.

실험 결과

연구 질문

• RQ1 연합 학습에서 보안 집계를 어떻게 하면 사용자 이탈에 강하게 만들 수 있으며 프라이버시를 희생하지 않을 수 있을까?
• RQ2 효율적이고 고차원 보안 집계가 가능하게 하는 암호 기법(비밀 공유, 마스킹, 키 협상)은 무엇인가?
• RQ3 정직하지만 호기심 많은 서버와 다양한 이탈 동작 하에서 어떤 보안 보장이 유지되는가?
• RQ4 실용적인 모바일 환경에서 제안된 프로토콜의 커뮤니케이션 및 계산 비용은 어느 정도인가?

주요 결과

• 실용적인 프로토콜은 최대 3분의 1의 사용자가 프로토콜을 완료하지 못하는 경우에도 견고성을 달성합니다.
• 16비트 입력에 대해 2^10명의 사용자와 2^20- 또는 2^24 차원의 벡터가 있을 때, 프로토콜은 각각 1.73× 및 1.98×의 커뮤니케이션 확장을 달성합니다.
• 더블 마스킹(p 및 b 마스크)은 t > n/2일 때 위협 모델 T1 아래 보안을 보장하며, 보다 공격적인 모델(T2, T3)에서는 더 높은 임계값이 필요합니다.
• 프로토콜 3은 PRG를 통해 시드를 확장하고 Diffie-Hellman을 사용하여 확장 가능한 비밀 생성을 달성함으로써 커뮤니케이션을 축소합니다.
• 서버 매개 키 협상을 통한 보안 프로토콜의 부트스트래핑은 모바일 기기에서의 실용적 배치를 가능하게 하며 전방 보안을 유지합니다.