[논문 리뷰] FheFL: Fully Homomorphic Encryption Friendly Privacy-Preserving Federated Learning with Byzantine Users

Yogachandran Rahulamathavan, Charuka Herath외 3명|arXiv (Cornell University)|2023. 06. 08.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

FheFL은 완전호환암호화(FHE)와 비공격률 기반 집합 기반의 새로운 분산학습 프레임워크를 제안한다. 이는 기밀성 누출과 데이터 공격을 동시에 방지한다. 다중키 암호화 기반의 덧셈형 동형암호화 방식을 사용해 암호화된 도메인에서 안전한 모델 집합을 가능하게 하며, 합리적인 계산 오버헤드로 비암호화된 FL과 유사한 정확도를 달성한다. 이는 단일 서버에서 작동하며 사용자 간 상호작용이 필요로 하지 않는다.

ABSTRACT

The federated learning (FL) technique was developed to mitigate data privacy issues in the traditional machine learning paradigm. While FL ensures that a user's data always remain with the user, the gradients are shared with the centralized server to build the global model. This results in privacy leakage, where the server can infer private information from the shared gradients. To mitigate this flaw, the next-generation FL architectures proposed encryption and anonymization techniques to protect the model updates from the server. However, this approach creates other challenges, such as malicious users sharing false gradients. Since the gradients are encrypted, the server is unable to identify rogue users. To mitigate both attacks, this paper proposes a novel FL algorithm based on a fully homomorphic encryption (FHE) scheme. We develop a distributed multi-key additive homomorphic encryption scheme that supports model aggregation in FL. We also develop a novel aggregation scheme within the encrypted domain, utilizing users' non-poisoning rates, to effectively address data poisoning attacks while ensuring privacy is preserved by the proposed encryption scheme. Rigorous security, privacy, convergence, and experimental analyses have been provided to show that FheFL is novel, secure, and private, and achieves comparable accuracy at reasonable computational cost.

연구 동기 및 목표

• 분산학습에서 모델 기울기로 인한 기밀성 누출과 데이터 공격을 동시에 해결하기 위한 목표.
• 다중 상호작용이 없는 비밀 서버나 사용자 협업에 의존하지 않고 단일 서버에서 작동하는 안전하고 기밀 보장이 되는 FL 시스템 설계.
• 암호화된 도메인에서 복호화하지 않고도 악성 사용자를 탐지하고 완화할 수 있도록 하는 목표.
• 특히 최대 20%의 악성 사용자가 존재하는 현실적인 공격 조건 하에서도 수렴성과 모델 정확도를 유지하는 것.
• 기존 FHE 기반 FL 기법 대비 계산 및 통신 오버헤드를 줄이면서도 강력한 보안 보장을 확보하는 것.

제안 방법

• 분산학습에 특화된 분산 다중키 덧셈형 동형암호화 방식을 제안하여 암호화된 모델 업데이트의 안전한 집합을 가능하게 한다.
• 사용자의 비공격률을 활용해 악성 사용자로부터의 기여도를 동적으로 감소시키는 재귀적 가중치 업데이트 방식을 도입한다. 이는 암호화된 도메인에서 수행된다.
• CKKS FHE 방식을 사용하여 SIMD 패킹을 적용해 하나의 암호문당 최대 8192개의 모델 파라미터를 암호화하고 처리함으로써 계산 효율성을 향상시킨다.
• 암호화된 모델 업데이트와 글로벌 모델 간 유클리드 거리 계산을 수행해 일관성과 이상치 탐지를 수행하며, 복호화 없이도 가능하다.
• 모든 집합 및 검증 작업을 단일 서버 아키텍처에서 처리함으로써 사용자 상호작용이나 다수의 신뢰할 수 있는 당사자가 필요 없도록 한다.
• 비공격률 지표를 적용해 글로벌 모델 추세에서의 이탈 정도에 따라 악성 업데이트를 식별하고 억제한다.

실험 결과

연구 질문

• RQ1 단일 서버 기반 분산학습 시스템이 강력한 기밀 보장과 데이터 공격에 대한 내성을 동시에 확보할 수 있는가?
• RQ2 암호화된 도메인에서 복호화 없이도 악성 사용자를 효과적으로 탐지할 수 있는가?
• RQ3 Byzantine 사용자가 존재하는 대규모 분산학습 환경에서 FHE가 계산 및 통신 오버헤드에 미치는 영향은 어떠한가?
• RQ4 최대 20%의 사용자가 악성일 경우 제안된 집합 방식 하에서 모델 수렴성이 얼마나 유지될 수 있는가?
• RQ5 기존의 PPFL 기법인 ShieldFL과 PEFL에 비해 제안된 기법은 효율성과 정확도 면에서 어떻게 비교되는가?

주요 결과

• 악성 사용자 수가 20% 이하일 경우 FheFL은 수렴성과 안정적인 학습을 달성하며, 에포크가 진행되면서 훈련 손실이 지속적으로 감소한다.
• 비암호화된 분산학습과 유사한 모델 정확도를 유지하며, 중간 정도의 공격 조건에서도 최소한의 정확도 저하를 보인다.
• 서버에서 100명의 사용자로부터 온 암호화된 모델 업데이트(각각 8192개의 파라미터)를 처리하는 데 약 6분이 소요되며, 이는 SIMD 패킹으로 인해 ShieldFL(1시간 이상)보다 훨씬 빠른 성능이다.
• 사용자당 통신 대역폭은 에포크당 3MB 미만으로 Wi-Fi나 5G 네트워크 환경에서도 구현 가능하며, 한 번 사용 키 기반 방식보다는 높은 대역폭을 요구하지만 현실 가능성이 있다.
• CKKS 보안 파rameter N=8192에서 N=16384로 전환할 경우 계산 비용이 약 두 배로 증가하지만, 이는 더 높은 정밀도와 더 나은 정확도를 가능하게 한다.
• 제안된 기법은 ShieldFL에 비해 시간 및 통신 복잡도 면에서 뛰어나며, PEFL과 유사한 효율성을 확보하면서도 단일 서버 기반 및 더 강력한 보안 가정을 바탕으로 한다.