[논문 리뷰] Aggregation Service for Federated Learning: An Efficient, Secure, and More Resilient Realization

Yifeng Zheng, Shangqi Lai외 4명|arXiv (Cornell University)|2022. 02. 04.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 페더레이티드 러닝을 위한 경량이며 안전하고 내성적인 집계 서비스를 제안한다. 이 시스템은 기존의 원시 데이터를 공유하지 않더라도 민감한 정보를 泄露하지 않도록 클라이언트가 암호화된 모델 업데이트를 제출할 수 있도록 하는 새로운 암호학적 집계 프로토콜을 사용한다. 이 시스템은 효율적인 계산을 보장하며, 키 재설정 없이도 클라이언트의 이탈에 대비한 내성성을 제공하고, 능동적인 서버 공격자에 대한 무결성 보호 기능도 제공한다. 성능은 평문 기반 베이스라인과 유사한 수준이며, 이전 연구 대비 최대 39배 낮은 클라이언트 측 비용을 달성한다.

ABSTRACT

Federated learning has recently emerged as a paradigm promising the benefits of harnessing rich data from diverse sources to train high quality models, with the salient features that training datasets never leave local devices. Only model updates are locally computed and shared for aggregation to produce a global model. While federated learning greatly alleviates the privacy concerns as opposed to learning with centralized data, sharing model updates still poses privacy risks. In this paper, we present a system design which offers efficient protection of individual model updates throughout the learning procedure, allowing clients to only provide obscured model updates while a cloud server can still perform the aggregation. Our federated learning system first departs from prior works by supporting lightweight encryption and aggregation, and resilience against drop-out clients with no impact on their participation in future rounds. Meanwhile, prior work largely overlooks bandwidth efficiency optimization in the ciphertext domain and the support of security against an actively adversarial cloud server, which we also fully explore in this paper and provide effective and efficient mechanisms. Extensive experiments over several benchmark datasets (MNIST, CIFAR-10, and CelebA) show our system achieves accuracy comparable to the plaintext baseline, with practical performance.

연구 동기 및 목표

• 원시 데이터를 공유하지 않더라도 모델 업데이트가 개인 정보를 泄露할 수 있는 페더레이티드 러닝의 개인정보 위험을 해결하기 위해.
• 비싼 암호학적 연산 없이도 안전하고 가벼운 암호화 및 업데이트 집계를 가능하게 하는 시스템을 설계하기 위해.
• 향후 참여를 위해 키 재설정이 필요 없이도 클라이언트의 이탈에 대비한 내성성을 확보하기 위해.
• 암호화된 도메인에서 모델 업데이트의 압축 기반 압축을 통해 통신 효율성을 향상시키기 위해.
• 반간접적 모델을 초월해 능동적인 공격자에 대한 계산 무결성을 보장함으로써 보안을 강화하기 위해.

제안 방법

• 기존 문헌에서 선별된 안전한 집계 프로토콜을 채택하여 효율적이고 가벼운 암호화 및 업데이트 집계를 가능하게 한다.
• 클라이언트 측에서의 양자화를 활용해 암호화 이전에 모델 업데이트를 압축하여 통신 오버헤드를 감소시킨다.
• 기밀 공유 및 블라인딩 요소를 사용하여 개인 업데이트를 은폐하면서도 전역 모델 집계를 위한 덧셈 호모모르피즘을 유지한다.
• 이탈한 클라이언트가 자신의 기밀 키를 유지하여 향후 라운드에서 키 재설정 없이 원활하게 재참여할 수 있도록 하는 메커니즘을 도입한다.
• 서버 측에서 변조 탐지를 위한 무결성 검사를 구현하여, 능동적인 서버 공격 상황에서도 계산 무결성을 보장한다.
• 암호학적 연산을 최소화하고 효율적인 정수 산술을 활용하여 안전한 집계를 위한 성능 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 무거운 암호학에 의존하지 않고도 페더레이티드 러닝에서 효율적이고 안전한 집계를 달성할 수 있는 방법은 무엇인가?
• RQ2 향후 참여를 위해 키 재설정이 필요 없이도 클라이언트의 이탈을 지원할 수 있는가?
• RQ3 정밀도를 저하시키지 않은 채 암호화된 도메인에서 통신 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 능동적인 서버 공격자가 모델의 무결성에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 양자화 기법을 얼마나 활용하면 안전한 페더레이티드 러닝에서 통신 오버헤드를 줄일 수 있으며, 이로 인해 성능에 어떤 영향을 미치는가?

주요 결과

• 이중 이탈률이 0일 경우, 이전 연구 [7] 대비 최대 39배 낮은 클라이언트 측 계산 비용을 달성한다.
• 이탈률이 증가함에 따라 클라이언트 측 비용은 최대 2.3배까지 증가하지만, 이전 연구의 비용은 크게 증가한다 (예: 50% 이탈률 시 58.43ms 대비 1.49ms).
• 특히 높은 이탈률 및 클라이언트 선택 비율 상황에서 서버 측 계산 비용이 우리 시스템에서 일관되게 낮다. 이는 기밀 키 재구성 필요성이 감소하기 때문이다.
• 이 시스템은 MNIST, CIFAR-10, CelebA 데이터셋에서 평문 기반 베이스라인과 유사한 모델 정확도를 유지한다.
• 성능 오버헤드가 최소한이면서도 강력한 보안 보장을 제공하며, 능동적인 공격자에 대한 무결성 보호를 제공한다.
• 양자화 기반 압축은 안전한 집계 파이프라인에서 모델 성능 저하 없이 통신 오버헤드를 효과적으로 줄인다.