[논문 리뷰] SAFER: Sparse secure Aggregation for FEderated leaRning.

Constance Béguier, Eric W. Tramel|arXiv (Cornell University)|2020. 07. 29.

Privacy-Preserving Technologies in DataComputer Science참고 문헌 38인용 수 17

한 줄 요약

SAFER는 여러 당사자 간에 압축된 모델 업데이트를 효율적이고 개인정보 보호 기반으로 집계할 수 있는 경량이며 안전한 집계 프로토콜을 제안한다. 희소성과 보안 계산을 조합함으로써 통신 및 계산 비용을 줄이며, 클라이언트 데이터가 추론 공격으로부터 보호되도록 하여 깊이 있는 신경망 학습에서 최소한의 오버헤드로 높은 효율성을 달성한다.

ABSTRACT

Federated learning enables one to train a common machine learning model across separate, privately-held datasets via distributed model training. During federated training, only intermediate model parameters are transmitted to a central server which aggregates these parameters to create a new common model, thus exposing only intermediate parameters rather than the training data itself. However, some attacks (e.g. membership inference) are able to infer properties of local data from these intermediate model parameters. Hence, performing the aggregation of these client-specific model parameters in a secure way is required. Additionally, the communication cost is often the bottleneck of the federated systems, especially for large neural networks. So, limiting the number and the size of communications is necessary to efficiently train large neural architectures. In this article, we present an efficient and secure protocol for performing secure aggregation over compressed model updates in the context of collaborative, few-party federated learning, a context common in the medical, healthcare, and biotechnical use-cases of federated systems. By making compression-based federated techniques amenable to secure computation, we develop a secure aggregation protocol between multiple servers with very low communication and computation costs and without preprocessing overhead. Our experiments demonstrate the efficiency of this new approach for secure federated training of deep convolutional neural networks.

연구 동기 및 목표

• 중간 모델 파라미터가 추론 공격를 통해 국소 데이터를 泄露할 수 있는 연합 학습의 개인정보 위험을 해결하기 위해.
• 특히 큰 깊이 신경망에 대해 통신 및 계산 오버헤드를 줄이기 위해.
• 사전 처리나 추가 설정 비용 없이도 압축된 모델 업데이트의 안전한 집계를 가능하게 하기 위해.
• 의료 및 생물기술 응용 분야에서 흔한 소수의 당사자 참여 연합 학습 시나리오를 지원하기 위해.
• 효율적이고 개인정보 보호 기반의 모델 집계를 위해 희소성과 보안 계산을 통합하기 위해.

제안 방법

• 프로토콜은 전송 이전에 모델 업데이트를 압축하기 위해 구조적 희소성을 사용하여 통신량을 줄인다.
• 다중 서버 간에 암호화된 희소 모델 업데이트를 집계하기 위해 보안 다자간 계산(MPC) 기법을 적용한다.
• 사전 처리를 피하기 위해 직접적으로 희소 모델 업데이트를 개인정보 보호 기반으로 처리한다.
• 모든 단일 서버가 개별 클라이언트 업데이트를 알 수 없도록 동형 암호화와 비밀 공유를 활용한다.
• 동적 클라이언트 참여를 지원하며, 반신뢰 모델 위협 환경에서도 보안을 유지한다.
• 낮은 지연 시간 통신과 클라이언트 및 서버의 최소한의 계산 부담을 고려해 최적화되어 있다.

실험 결과

연구 질문

• RQ1 연합 학습에서 압축된 모델 업데이트에 대해 안전한 집계를 효율적으로 적용할 수 있는가?
• RQ2 개인정보를 훼손하지 않으면서도 통신 및 계산 비용을 최소화할 수 있는 방법은 무엇인가?
• RQ3 희소성이 안전한 집계에 통합되어 대역폭과 처리 오버헤드를 줄일 수 있는가?
• RQ4 모델 업데이트가 희소하고 압축되었을 때에도 프로토콜이 강력한 개인정보 보호 보장을 유지하는가?
• RQ5 깊이 신경망 학습에서 통신 및 성능 측면에서 프로토콜의 확장성은 어떻게 되는가?

주요 결과

• 프로토콜은 모델 업데이트의 희소성을 활용하여 통신 비용을 크게 줄이며 안전한 집계를 달성한다.
• 클라이언트와 서버 양측에서 낮은 계산 오버헤드를 유지하여 깊이 신경망의 효율적 학습을 가능하게 한다.
• 사전 처리나 추가 설정 단계 없이도 안전한 집계를 지원한다.
• 모든 서버가 개별 클라이언트의 모델 업데이트를 알 수 없도록 하여 개인정보를 보호한다.
• 실험 결과는 SAFER가 의료 및 생물기술과 같은 실제 시나리오에서 효율적이고 안전한 연합 학습을 가능하게 한다는 것을 확인한다.
• 기존의 안전한 집계 방법에 비해 통신 및 계산 효율성 측면에서 확장성과 성능 향상이 입증된다.