[논문 리뷰] Turbo-Aggregate: Breaking the Quadratic Aggregation Barrier in Secure Federated Learning

Jinhyun So, Başak Güler외 1명|arXiv (Cornell University)|2020. 02. 11.

Privacy-Preserving Technologies in Data참고 문헌 57인용 수 31

한 줄 요약

Turbo-Aggregate는 연합 학습에서 보안 집계 오버헤드를 O(N^2)에서 O(N log N)로 줄이고, 50% 드롭아웃에 대한 강건성과 최대 40×의 속도 향상을 달성하며 최대 200명의 사용자까지 지원합니다.

ABSTRACT

Federated learning is a distributed framework for training machine learning models over the data residing at mobile devices, while protecting the privacy of individual users. A major bottleneck in scaling federated learning to a large number of users is the overhead of secure model aggregation across many users. In particular, the overhead of the state-of-the-art protocols for secure model aggregation grows quadratically with the number of users. In this paper, we propose the first secure aggregation framework, named Turbo-Aggregate, that in a network with $N$ users achieves a secure aggregation overhead of $O(N\log{N})$, as opposed to $O(N^2)$, while tolerating up to a user dropout rate of $50\%$. Turbo-Aggregate employs a multi-group circular strategy for efficient model aggregation, and leverages additive secret sharing and novel coding techniques for injecting aggregation redundancy in order to handle user dropouts while guaranteeing user privacy. We experimentally demonstrate that Turbo-Aggregate achieves a total running time that grows almost linear in the number of users, and provides up to $40 imes$ speedup over the state-of-the-art protocols with up to $N=200$ users. Our experiments also demonstrate the impact of model size and bandwidth on the performance of Turbo-Aggregate.

연구 동기 및 목표

• 다수의 사용자가 참여하는 연합 학습에서 확장 가능한 보안 집계의 필요성을 제시한다.
• 오버헤드를 제곱으로부터 거의 선형에 가까운 수준으로 감소시키는 집계 프레임워크를 제안한다.
• 강력한 공동 의도 및 드롭아웃 상황에서 개별 업데이트의 프라이버시를 보장한다.
• 최대 50%의 사용자 드롭아웃에서도 정확도를 유지하며 강건성을 입증한다.
• 현실적인 N(수십 ~ 수백)에 대해 성능을 실험적으로 평가하고 상당한 속도향상과 대역폭 민감성을 보여준다.

제안 방법

• 사용자를 L개의 그룹으로 나누고 단계적 집계를 수행하는 다중 그룹 원형 집계 구조를 도입한다.
• 개별 모델을 마스킹하고 서버/사용자 간의 공모에 대한 프라이버시를 보호하기 위해 additive secret sharing을 사용한다.
• 가입자 드롭아웃 하에서도 다항식 보간으로 복구를 가능하게 하는 합성된 집계 중복성을 도입하기 위해 Lagrange 코딩을 적용한다.
• 중앙 집중형 및 분산형(p2p) 통신 아키텍처를 모두 지원한다.
• 집계 오버헤드, 드롭아웃 강건성 및 프라이버시 보장을 형식적으로 분석한다.
• 수십에서 N=200까지의 실험적 평가를 통해 거의 선형 실행 시간과 최첨단 방법 대비 최대 40×의 속도 향상을 보인다.

실험 결과

연구 질문

• RQ1 보안 연합 학습에서 집계 오버헤드를 O(N^2)에서 O(N log N)로 줄이면서 프라이버시를 희생하지 않을 수 있는가?
• RQ2 확장 가능한 보안 집계 프로토콜에서 달성 가능한 드롭아웃 강건성 및 공동 의도 저항 수준은 어떤가?
• RQ3 additive secret sharing 및 코딩 기법이 사용자 드롭아웃이 있는 상황에서 신뢰할 수 있는 집계를 어떻게 가능하게 하는가?
• RQ4 중앙 집중형 및 분산형 통신 아키텍처가 동일한 프라이버시 및 성능 보장을 가진 상태로 Turbo-Aggregate를 지원하는가?
• RQ5 현실적인 N(수십~수백)에서 Turbo-Aggregate의 실용적 성능 영향(예: 실행 시간, 대역폭 민감도)은 어느 정도인가?

주요 결과

• 집계 오버헤드가 O(N log N)로 달성되어 통신/계산 비용이 크게 감소한다.
• 프로토콜은 여러 단계에서 최대 50%의 사용자 드롭아웃을 높은 확률로 허용한다.
• 협력 시 T = N/2까지의 정보 이론적 수준에서 개별 업데이트의 프라이버시를 강하게 보장한다.
• Amazon EC2에서의 실험 결과 N에 대해 거의 선형 실행 시간을 보이고, N = 200에서 이전 최첨단 대비 최대 40×의 속도향상을 달성한다.
• 대역폭 제약이 성능에 영향을 주지만, 제한된 대역폭에서도 Turbo-Aggregate가 상당한 이점을 유지한다.