[논문 리뷰] Enhanced Security and Privacy via Fragmented Federated Learning

Najeeb Jebreel, Josep Domingo‐Ferrer외 2명|arXiv (Cornell University)|2022. 07. 13.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 참여자가 서버에 전송하기 전에 모델 업데이트의 암호화된 조각을 교환하고 혼합함으로써 페더레이티드 러닝의 프라이버시와 보안을 향상시키는 새로운 프레임워크인 프래그먼트화된 페더레이티드 러닝(FFL)을 제안한다. FFL은 반신뢰할 수 있는 서버가 개인 데이터를 유추하는 것을 방지하며, 신뢰도 시스템을 통해 오염된 업데이트를 효과적으로 탐지할 수 있어 표준 FL과 유사한 정확도를 달성하면서도 최소한의 계산 오버헤드를 유발한다.

ABSTRACT

In federated learning (FL), a set of participants share updates computed on their local data with an aggregator server that combines updates into a global model. However, reconciling accuracy with privacy and security is a challenge to FL. On the one hand, good updates sent by honest participants may reveal their private local information, whereas poisoned updates sent by malicious participants may compromise the model's availability and/or integrity. On the other hand, enhancing privacy via update distortion damages accuracy, whereas doing so via update aggregation damages security because it does not allow the server to filter out individual poisoned updates. To tackle the accuracy-privacy-security conflict, we propose {\em fragmented federated learning} (FFL), in which participants randomly exchange and mix fragments of their updates before sending them to the server. To achieve privacy, we design a lightweight protocol that allows participants to privately exchange and mix encrypted fragments of their updates so that the server can neither obtain individual updates nor link them to their originators. To achieve security, we design a reputation-based defense tailored for FFL that builds trust in participants and their mixed updates based on the quality of the fragments they exchange and the mixed updates they send. Since the exchanged fragments' parameters keep their original coordinates and attackers can be neutralized, the server can correctly reconstruct a global model from the received mixed updates without accuracy loss. Experiments on four real data sets show that FFL can prevent semi-honest servers from mounting privacy attacks, can effectively counter poisoning attacks and can keep the accuracy of the global model.

연구 동기 및 목표

• 페더레이티드 러닝에서 정확도, 프라이버시, 보안 간의 근본적 트레이드오프를 해결한다.
• 참여자 업데이트를 분할함으로써 개인 업데이트를 은폐함으로써 반신뢰할 수 있는 서버가 프라이버시 공격을 수행하는 것을 방지한다.
• 모델 정확도를 손상시키지 않으면서 오염 공격을 탐지하고 완화할 수 있도록 한다.
• 원래의 성능을 유지하면서 참가자 프라이버시와 시스템 무결성을 보장하는 경량이고 확장 가능한 프rotocol를 설계한다.
• 업데이트 품질과 조각 교환 행동을 기반으로 참가자의 신뢰성을 평가하는 새로운 신뢰도 시스템을 도입한다.

제안 방법

• 참여자가 로컬에서 모델 업데이트를 생성하고 무작위로 겹치지 않는 조각으로 나눈다.
• 페더레이티드 참여자들이 경량 암호 프로토콜을 사용해 암호화된 조각을 비밀리에 교환하고 혼합하며, 서버에 종속되지 않는 조각 혼합을 보장한다.
• 서버는 혼합된 조각들만 수신하고, 개별 업데이트나 기원자 정보에 접근할 수 없이 글로벌 모델을 재구성한다.
• 참가자가 제공하는 조각의 품질과 혼합된 업데이트의 품질에 따라 신뢰도를 획득하거나 잃는 신뢰도 시스템을 도입한다.
• 서버는 글로벌 신뢰도를 사용하여 훈련에 참여할 참가자를 선별하고, 혼합된 업데이트를 적응적으로 집계하며, 낮은 신뢰도를 가진 기여자를 걸러낸다.
• 분할 과정 동안 원래의 업데이트 좌표를 유지함으로써 왜곡 없이 정확한 글로벌 모델 재구성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝 시스템이 동시에 모델 정확도를 유지하고, 참가자 프라이버시를 보호하며, 오염 공격에 대비할 수 있는가?
• RQ2 암호화된 조각 교환 방식이 반신뢰할 수 있는 서버가 업데이트를 참가자와 연결하거나 개인 훈련 데이터를 재구성하는 것을 방지할 수 있는가?
• RQ3 조각과 업데이트 품질을 기반으로 한 신뢰도 시스템이 분할된 업데이트 환경에서 악성 참가자를 효과적으로 탐지하고 무력화할 수 있는가?
• RQ4 기존의 표준 FL 및 프라이버시 강화 기법과 비교해 제안된 분할 및 혼합 프로토콜의 계산 및 통신 오버헤드는 어느 정도인가?
• RQ5 FFL은 실제 세계의 데이터 분포와 다양한 모델 복잡도 및 참가자 수 수준에서 어떻게 성능을 발휘하는가?

주요 결과

• 서버가 완전한 원본 업데이트를 복원하거나 조각의 기원자를 연결할 수 없기 때문에 FFL은 반신뢰할 수 있는 서버의 프라이버시 공격을 방지한다.
• 프레임워크는 표준 페더레이티드 러닝과 유사한 정확도를 유지한다. VGG16 기반 100명의 참가자에서 CIFAR10에서 FFL은 테스트 정확도 1.188를 달성한다.
• FFL은 오염 공격에 효과적으로 대응한다. 실험 결과, 표준 FL 대비 공격 성공률이 크게 감소했으며, CIFAR10-VGG16에서 100명의 참가자 조건에서 공격 성공률은 3.536%로 나타났다.
• 참가자 측의 계산 오버헤드는 극히 미미하다. VGG16 기준으로 라운드당 최대 1.319초로, 확장성과 효율성을 입증한다.
• 서버 측 런타임은 HE 및 SMC 기반 방법보다 낮으며, 특히 모델 크기와 업데이트 수가 증가할수록 그 효율성이 뚜렷하다.
• 유사한 모델에서 기존의 프라이버시 보장 기법 [36] 대비 FFL은 참가자당 176초의 오버헤드를 기록하는 데 비해 FFL은 1.319초로 훨씬 빠르며, 더 강력한 보안 보장을 제공한다.