[논문 리뷰] FedML-HE: An Efficient Homomorphic-Encryption-Based Privacy-Preserving Federated Learning System

Weizhao Jin, Yuhang Yao외 3명|arXiv (Cornell University)|2023. 03. 20.

Privacy-Preserving Technologies in Data인용 수 35

한 줄 요약

FedML-HE는 선택적 매개변수 암호화를 도입하여 효율적인 HE 기반 프라이버시 보장 연합학습을 가능하게 하며, 대형 모델에 대해 강력한 개인 정보 보호 보장을 유지하면서 상당한 오버헤드 감소를 달성합니다.

ABSTRACT

Federated Learning trains machine learning models on distributed devices by aggregating local model updates instead of local data. However, privacy concerns arise as the aggregated local models on the server may reveal sensitive personal information by inversion attacks. Privacy-preserving methods, such as homomorphic encryption (HE), then become necessary for FL training. Despite HE's privacy advantages, its applications suffer from impractical overheads, especially for foundation models. In this paper, we present FedML-HE, the first practical federated learning system with efficient HE-based secure model aggregation. FedML-HE proposes to selectively encrypt sensitive parameters, significantly reducing both computation and communication overheads during training while providing customizable privacy preservation. Our optimized system demonstrates considerable overhead reduction, particularly for large foundation models (e.g., ~10x reduction for ResNet-50, and up to ~40x reduction for BERT), demonstrating the potential for scalable HE-based FL deployment.

연구 동기 및 목표

• 평문 모델 업데이트가 데이터를 누출할 수 있는 표준 FL에서의 프라이버시 문제를 제기한다.
• 계산 및 통신 오버헤드를 줄이기 위해 선택적 암호화를 갖춘 효율적인 HE 기반 FL 시스템을 제안한다.
• 실용적이고 확장 가능한 방식으로 보안 집계 및 foundation-model 학습을 가능하게 한다.

제안 방법

• 가장 프라이버시에 민감한 매개변수만 암호화하도록 선택적 매개변수 암호화를 제안한다.
• 암호화 키 합의, 암호화 마스크 계산, 암호화된 연합학습의 세 단계 FedML-HE 워크플로를 사용한다.
• 암호화 선택을 안내하기 위해 선택적 임계값 변형과 프라이버시 맵이 있는 단일 키 HE 설정을 사용한다.
• 암호화 마스크 M을 사용하여 부분적으로 암호화된 글로벌 모델에서 서버에서 암호문을 집계한다.
• 암호화 하에서 제로-DP 프라이버시와 부분 암호화에 대한 DP-유사 보장을 보이는 이론적 프라이버시 분석을 제공한다.
• CIFAR-100과 언어 모델 역공격을 대상으로 LeNet, ResNet-50, BERT 등의 모델에서 오버헤드 및 방어 성능을 평가한다.

실험 결과

연구 질문

• RQ1 선택적 매개변수 암호화가 프라이버시를 해치지 않으면서 연합학습에서 HE 오버헤드를 어떻게 줄일 수 있는가?
• RQ2 매개변수의 일부만 암호화할 때 프라이버시 보장과 통신/계산 비용 간의 균형은 어떤가?
• RQ3 대형 모델에 대한 최신 ML 프라이버시 공격에 대해 오버헤드와 프라이버시 측면에서 FedML-HE의 성능은 어떤가?
• RQ4 제안된 프레임워크가 HE를 이용한 효율적인 foundation-model 연합 학습을 지원할 수 있는가?

주요 결과

• 선택적 매개변수 암호화는 HE 오버헤드를 감소시키며, 매개변수의 10%를 암호화하면 중형/대형 모델의 경우 오버헤드가 평문 집계에 근접한다.
• FedML-HE는 naive HE 기반 FL에 비해 ResNet-50에서 최대 약 10배, BERT에서 최대 약 40배의 오버헤드 감소를 달성한다.
• 암호화 마스크 M은 로컬 민감도 맵에서 파생된 글로벌 프라이버시 맵으로 계산되어 표적 암호화를 가능하게 한다.
• 실험은 CV(LeNet/CIFAR-100) 및 NLP(BERT) 과제에서 그래디언트 역공격에 대한 강건성을 보여준다.
• 이 프레임워크는 보안 키 관리, 암호화된 FL 배포, 모듈식 소프트웨어 스택 내의 최적화된 HE 통합을 지원한다.