[논문 리뷰] Efficient Sparse Secure Aggregation for Federated Learning

Constance Béguier, Mathieu Andreux외 1명|arXiv (Cornell University)|2020. 07. 29.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 11

한 줄 요약

이 논문은 모델 업데이트 압축과 덧셈 기반 비밀 분할을 결합하여 낮은 통신 및 계산 비용을 달성하면서도 강력한 프라이버시를 유지하는 새로운 희소 안전 집계 프로토콜을 제안한다. 경량 덧셈 연산으로 안전 집계를 줄이고 상위-k 희소화를 활용함으로써, 이전의 안전 집계 기법들보다 훨씬 낮은 오버헤드로 높은 모델 정확도를 달성한다.

ABSTRACT

Federated Learning enables one to jointly train a machine learning model across distributed clients holding sensitive datasets. In real-world settings, this approach is hindered by expensive communication and privacy concerns. Both of these challenges have already been addressed individually, resulting in competing optimisations. In this article, we tackle them simultaneously for one of the first times. More precisely, we adapt compression-based federated techniques to additive secret sharing, leading to an efficient secure aggregation protocol, with an adaptable security level. We prove its privacy against malicious adversaries and its correctness in the semi-honest setting. Experiments on deep convolutional networks demonstrate that our secure protocol achieves high accuracy with low communication costs. Compared to prior works on secure aggregation, our protocol has a lower communication and computation costs for a similar accuracy.

연구 동기 및 목표

• 편현 학습에서 높은 통신 비용과 프라이버시 泄露 문제를 동시에 해결하기 위해.
• 모델 업데이트 압축 기법을 안전 집계 프로토콜과 통합하여 정확도를 희생시키지 않고 오버헤드를 줄이기 위해.
• 저비용 계산 비용을 확보하기 위해 오직 경량 연산(덧셈)에 의존하는 안전 집계 프로토콜을 설계하기 위해.
• 악성 대상자에 대해 증명 가능한 프라이버시와 반반 모델에서의 정확성을 확보하기 위해.
• 제안된 방법이 기존의 안전 집계 기법들보다 통신 및 계산 효율성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 모델 업데이트를 압축하기 위해 상위-k 희소화(예: TopBinary 인코딩)를 사용하여 가장 중요한 기울기만 유지한다.
• 압축된 업데이트에 덧셈 기반 비밀 분할을 적용하여 유일하게 집계 결과만 드러나도록 보장한다.
• 클라이언트 간의 희소 인덱스를 효율적으로 통합하기 위해 보정 가능한 파rameter q를 가진 안전 유니온 프로토콜(SecUnion)을 설계한다.
• 안전 집계를 오직 덧셈 연산으로만 줄여 히든 암호화나 비대칭 암호화와 같은 고비용 암호 primitive를 피한다.
• 반반 모델에서 정확성이 입증되고, 최대 한 서버를 제외한 모든 서버가 공모할 경우 악성 대상자에 대해 프라이버시가 보장된다.
• 표준 편현 평균(FedAvg)과 호환되며, 최소한의 암호학적 전문 지식으로도 실용적인 구현이 가능하다.

실험 결과

연구 질문

• RQ1 모델 업데이트 압축을 안전 집계와 효과적으로 융합하여 편현 학습에서 통신 및 계산 비용을 줄일 수 있는가?
• RQ2 실제 구현에 적합한 효율성과 프라이버시를 동시에 확보하기 위해 안전 집계를 어떻게 개선할 수 있는가?
• RQ3 FL에서 희소 비밀 분할을 사용할 경우 보안 수준, 통신 비용, 모델 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ4 경량 암호 연산(예: 오직 덧셈)이 편현 환경에서 강력한 프라이버시 보장을 달성할 수 있는가?
• RQ5 기존의 안전 집계 프로토콜과 비교할 때 제안된 방법은 효율성과 정확도 측면에서 어떤가?

주요 결과

• MNIST에서 98%의 정확도, CIFAR-10에서 80%의 정확도를 달성하였으며, 이는 비안전하고 압축되지 않은 FedAvg 성능과 동일한 결과를 보였다.
• TopBinary 인코딩과 ρ=0.1을 사용할 경우, Bonawitz 등(2017)과 Dong 등(2020)보다 통신 비용을 크게 줄였다.
• Paillier 암호화나 다항식 보간과 같은 고비용 연산을 피하기 때문에 이전 연구들보다 계산 비용이 크게 낮아졌다.
• q=1인 SecUnion 프로토콜이 프라이버시와 통신 간의 최적의 균형을 이루었으며, 거짓 음성률을 줄이면서도 효율성을 유지했다.
• 유사한 정확도 수준에서 기존의 안전 집계 기법들보다 통신 및 계산 비용 측면에서 모두 뛰어난 성능을 보였다.
• 악성 대상자에 대해 증명 가능한 프라이버시를 확보하고 반반 모델에서 정확성이 보장되어 강력한 보안 보장을 제공한다.