[논문 리뷰] Communication-Computation Efficient Secure Aggregation for Federated Learning

Beongjun Choi, Jy-yong Sohn외 2명|arXiv (Cornell University)|2020. 12. 10.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 48

한 줄 요약

CCESA는 secure aggregation의 complete-graph 비밀 공유를 희소 할당 그래프(Erdős–Rényi)로 대체하여 통신 및 계산 비용을 대폭 줄이면서 유사한 신뢰성과 프라이버시를 달성합니다. 저자들은 이론적 조건과 실험 결과를 통해 현실적인 공격 하에서 최대 60-70%의 자원 절감과 강한 프라이버시를 보인다고 제시합니다.

ABSTRACT

Federated learning has been spotlighted as a way to train neural networks using distributed data with no need for individual nodes to share data. Unfortunately, it has also been shown that adversaries may be able to extract local data contents off model parameters transmitted during federated learning. A recent solution based on the secure aggregation primitive enabled privacy-preserving federated learning, but at the expense of significant extra communication/computational resources. In this paper, we propose a low-complexity scheme that provides data privacy using substantially reduced communication/computational resources relative to the existing secure solution. The key idea behind the suggested scheme is to design the topology of secret-sharing nodes as a sparse random graph instead of the complete graph corresponding to the existing solution. We first obtain the necessary and sufficient condition on the graph to guarantee both reliability and privacy. We then suggest using the Erdős-Rényi graph in particular and provide theoretical guarantees on the reliability/privacy of the proposed scheme. Through extensive real-world experiments, we demonstrate that our scheme, using only $20 \sim 30\%$ of the resources required in the conventional scheme, maintains virtually the same levels of reliability and data privacy in practical federated learning systems.

연구 동기 및 목표

• 로컬 데이터가 모델 집계 중에 비공개로 유지되어야 하는 연합 학습에서 프라이버시의 중요성을 고무한다.
• 희소 그래프 토폴로지를 사용하여 통신 및 계산을 줄인 보안 집계 프로토콜을 개발한다.
• CCESA에서 신뢰성과 프라이버시를 보장하기 위한 그래프 기반의 필요적/충분한 조건을 확립한다.
• 이론적 성능 보장과 실제 데이터셋에 대한 실증 검증을 제공한다.

제안 방법

• 리소스 사용을 줄이기 위해 secure aggregation의 전체 그래프를 저차 그래프로 대체한다.
• 에지가 어떤 클라이언트가 키와 비밀 공유를 공유하는지 나타내는 할당 그래프 G를 사용한다.
• 정리 1 및 정리 2에 해당하는 신뢰성과 프라이버시를 보장하기 위한 G에 대한 필요충분조건을 도출한다.
• G(n,p) 형태의 Erdős–Rényi 그래프를 채택하고 고확률의 신뢰성과 프라이버시를 달성하기 위한 p 임계값을 도출한다(정리 3–4).
• 유한 n에 대한 신뢰성과 프라이버시에 대한 경계(정리 5–6)를 제공하고 기존 SA 및 Turbo-aggregate와의 계산 복잡성을 비교한다.
• AT&T 얼굴 데이터와 CIFAR-10에서 SA에 대항하여 CCESA의 실험적 검증을 수행하고 실행 시간, 신뢰성, 모델 역추적 및 멤버십 추론 공격 하에서의 프라이버시를 측정한다.

실험 결과

연구 질문

• RQ1 연합 학습에서 프라이버시를 해치지 않으면서 secure aggregation을 어떻게 더 확장 가능하게 만들 수 있는가?
• RQ2 희소 연결로 신뢰성과 프라이버시를 보장하는 그래프 토폴로지는 어떤가?
• RQ3 CCESA가 신뢰성과 프라이버시를 위해 필요한 이론적 임계값(p, n, q)은 무엇인가?
• RQ4 기존 SA와 비교하여 CCESA가 시간, 신뢰성, 프라이버시 측면에서 실험적으로 어떻게 수행되는가?
• RQ5 실제 데이터셋에서 CCESA를 사용할 때의 실용적 자원 절감은 어느 정도인가?

주요 결과

그래프 토폴로지	통신 비용(클라이언트)	통신 비용(서버)	계산 비용(클라이언트)	계산 비용(서버)
CCESA	Erdős-Rényi graph	O(√(n log n)+ m)	O(n√(n log n)+ mn)	O(n log n + m√(n log n))	O(mn log n) + n^2 log n
Bell et al. 2020	Harary graph	O(log n+m)	O(n log n+ mn)	O(log^2 n + m log n)	O(mn log n + n log^2 n)
SA	Complete graph	O(n+m)	O(n^2+mn)	O(n^2+mn)	O(mn^2)

• CCESA는 SA와 유사한 신뢰성과 프라이버시를 달성하면서도 자원(통신/계산)을 현저히 적게 사용한다.
• ER 그래프 토폴로지를 사용하면 CCESA는 SA에 비해 클라이언트 통신 및 키 합의 작업을 최소 O(√(n/log n)) 배로 줄일 수 있다.
• 이론적 임계값은 CCESA(n,p)가 문제 의존적 p*를 초과할 때 a.a.s. 신뢰성과 프라이버시를 보장하며, p*는 n이 커질수록 감소한다.
• 유한-n 경계는 매우 작은 프라이버시 오차(10^-40 미만)와 합리적인 이탈률에서 매 라운드의 신뢰성 오차를 10^-2 미만으로 보장한다.
• AT&T와 CIFAR-10에 대한 실험 결과 CCESA가 40–60%의 자원 절감을 달성하면서 공격하에서도 비슷한 정확도와 프라이버시를 유지한다.
• CCESA 실행 시간은 SA에 비해 테스트된 규모 전반에서 크게 낮다, 공유 및 키 합의 수가 적기 때문.