[논문 리뷰] Secure Weighted Aggregation for Federated Learning

Jiale Guo, Ziyao Liu외 4명|arXiv (Cornell University)|2020. 10. 17.

Privacy-Preserving Technologies in DataComputer Science참고 문헌 20인용 수 17

한 줄 요약

이 논문은 동형 암호화와 무지식 증명을 사용하여 데이터 불균형을 다루고 위조된 클라이언트 메시지를 저지하는 보안 가중치 합산을 가능하게 하는 프라이버시 강화된 분산 학습 기법을 제안한다. 이 기법은 기준 방법 대비 런타임 1.2배, 통신 오버헤드 1.3배로만 증가하여 안정적이고 가중치가 부여된 모델 합산을 달성하며, 데이터 프라이버시와 무결성을 모두 보장한다.

ABSTRACT

The pervasive adoption of Internet-connected digital services has led to a growing concern in the personal data privacy of their customers. On the other hand, machine learning (ML) techniques have been widely adopted by digital service providers to improve operational productivity and customer satisfaction. ML inevitably accesses and processes users' personal data, which could potentially breach the relevant privacy protection regulations if not performed carefully. The situation is exacerbated by the cloud-based implementation of digital services when user data are captured and stored in distributed locations, hence aggregation of the user data for ML could be a serious breach of privacy regulations. In this backdrop, Federated Learning (FL) is an emerging area that allows ML on distributed data without the data leaving their stored location. However, depending on the nature of the digital services, data captured at different locations may carry different significance to the business operation, hence a weighted aggregation will be highly desirable for enhancing the quality of the FL-learned model. Furthermore, to prevent leakage of user data from the aggregated gradients, cryptographic mechanisms are needed to allow secure aggregation of FL. In this paper, we propose a privacy-enhanced FL scheme for supporting secure weighted aggregation. Besides, by devising a verification protocol based on Zero-Knowledge Proof (ZKP), the proposed scheme is capable of guarding against fraudulent messages from FL participants. Experimental results show that our scheme is practical and secure. Compared to existing FL approaches, our scheme achieves secure weighted aggregation with an additional security guarantee against fraudulent messages with an affordable 1.2 times runtime overheads and 1.3 times communication costs.

연구 동기 및 목표

• 로컬 데이터셋의 크기와 품질이 다양하여 전역 모델 정확도를 향상시키기 위해 가중치가 부여된 합산이 필요한 분산 학습에서의 데이터 불균형 문제를 해결한다.
• 동형 암호화를 사용한 보안 합산을 통해 로컬 데이터 泄露를 방지함으로써 강력한 프라이버시 보장을 확보한다.
• 위조 또는 악성 클라이언트가 조작된 기울기를 제출하여 전역 모델 가중치를 조작하는 위험을 완화한다.
• 일부 클라이언트가 참여하지 못할 경우에도 시스템의 강건성을 유지할 수 있도록 드롭아웃에 강건한 합산 메커니즘을 제공한다.
• 무지식 증명을 통합하여 클라이언트 메시지의 정확성이 노출되지 않도록 하면서도, 그 유효성을 검증한다.

제안 방법

• Paillier 동형 암호화 기법을 활용하여 원시 데이터를 폭 드러내지 않은 채 클라이언트 기울기의 보안적 합산을 가능하게 한다.
• 클라이언트 기여도를 데이터 크기와 레이블 품질 지표에 따라 스케일링하는 가중치 기반 합산 메커니즘을 도입하여 데이터셋의 중요성을 반영한다.
• 각 클라이언트가 업로드한 기울기가 정확히 계산되었고, 선언된 데이터 크기 및 품질과 일관성이 있는지를 검증하기 위해 무지식 증명 기반 검증 프로토콜을 설계한다.
• 클라이언트가 응답하지 못할 경우에도 시스템 가용성과 정확성을 유지할 수 있도록 드롭아웃에 강건한 보안적 합산 프레임워크를 통합한다.
• 임계값 기반 비밀 공유 및 보안 다자간 계산 원리를 적용하여 신뢰를 분산하고 단일 장애 지점의 위험을 방지한다.
• 검증 프로토콜을 합산 파이프라인에 통합하여 모델 업데이트 이전에 위조 메시지를 탐지하고 거부한다.

실험 결과

연구 질문

• RQ1 클라이언트 간 데이터 불균형을 고려하여 분산 학습 시스템이 어떻게 안전하게 모델 업데이트를 합산할 수 있는가?
• RQ2 어떤 암호 기법이 클라이언트 데이터나 기울기를 폭 드러내지 않으면서도 프라이버시를 보장하는 합산을 가능하게 하는가?
• RQ3 시스템은 어떻게 악성 클라이언트가 위조된 기울기를 제출하여 전역 모델을 조작하는 것을 탐지하고 방지할 수 있는가?
• RQ4 보안적 분산 학습에 무지식 증명을 통합할 경우 성능 오버헤드는 어느 정도인가?
• RQ5 제안된 기법은 클라이언트 드롭아웃 상황에서도 강건성과 정확성을 유지할 수 있는가?

주요 결과

• 제안된 기법은 기준 방법 대비 런타임 1.2배, 통신 비용 1.3배로만 증가하여 실용성을 입증한다.
• 무지식 증명 기반 검증 프로토콜이 민감한 클라이언트 데이터를 폭 드러내지 않으면서도 위조 메시지를 성공적으로 탐지하고 거부한다.
• 클라이언트 드롭아웃에 대해 강건하며, 어느 한 단계에서 최대 30%의 클라이언트가 응답하지 않더라도 보안적 합산을 유지한다.
• 동형 암호화와 무지식 증명의 통합은 데이터 泄露 및 모델 오염을 방지하는 엔드 투 엔드 프라이버시와 무결성을 보장한다.
• 실험 결과, 기준 방법보다 높은 모델 정확도를 유지하면서도 데이터 泄露 및 악성 조작에 대한 강력한 보안 보장을 제공함을 입증한다.
• 기존 방법에 비해 데이터 불균형과 악성 행동 처리에서 뛰어난 성능을 보이며, 보안, 정확도, 효율성 간의 균형 잡힌 트레이드오프를 제공한다.