[논문 리뷰] SwiftAgg+: Achieving Asymptotically Optimal Communication Loads in Secure Aggregation for Federated Learning

Tayyebeh Jahani-Nezhad, Mohammad Ali Maddah-Ali외 2명|arXiv (Cornell University)|2022. 03. 24.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

SwiftAgg+는 계층적 비밀 공유와 그룹 기반 집계를 활용하여 점점 더 최적에 가까운 통신 부하를 달성하는 새로운 안전한 집계 프로토콜이다. 이는 최대 $T = o(N)$명의 공모 사용자와 $D = o(N)$명의 사용자 탈락 상황에서도 정보 이론적 보안을 보장하며, 사용자 및 서버의 통신 부하를 $ (1 + \mathcal{O}(1/N))L $ 기호로 줄여 이론적 컷셋 하한선에 수렴한다.

ABSTRACT

We propose SwiftAgg+, a novel secure aggregation protocol for federated learning systems, where a central server aggregates local models of $N \in \mathbb{N}$ distributed users, each of size $L \in \mathbb{N}$, trained on their local data, in a privacy-preserving manner. SwiftAgg+ can significantly reduce the communication overheads without any compromise on security, and achieve optimal communication loads within diminishing gaps. Specifically, in presence of at most $D=o(N)$ dropout users, SwiftAgg+ achieves a per-user communication load of $(1+\mathcal{O}(\frac{1}{N}))L$ symbols and a server communication load of $(1+\mathcal{O}(\frac{1}{N}))L$ symbols, with a worst-case information-theoretic security guarantee, against any subset of up to $T=o(N)$ semi-honest users who may also collude with the curious server. Moreover, the proposed SwiftAgg+ allows for a flexible trade-off between communication loads and the number of active communication links. In particular, for $T

연구 동기 및 목표

• 통신 오버헤드를 최소화하면서도 강력한 프라이버시 보장을 유지하는 페더레이티드 러닝을 위한 안전한 집계 프로토콜을 설계하는 것.
• 사용자 탈락과 반진실적 공모와 같은 악성 상황에서도 점점 더 최적의 통신 부하를 달성하는 것.
• 구조화된 그룹 통신을 통해 통신 부하와 활성 네트워크 연결 수 사이의 탄력적인 트레이드오프를 가능하게 하는 것.
• 최대 $D = o(N)$명의 사용자 탈락 상황에서도 보안을 해치지 않고 강력한 모델 집계를 지원하는 것.
• 기존 프로토콜인 SecAgg와 TurboAgg보다 사용자 및 서버의 통신 비용을 낮추어 정보 이론적 한계에 수렴하는 것.

제안 방법

• 프로토콜은 트리 기반의 구조를 사용해 사용자를 계층적 그룹으로 분할하여 비밀 공유와 집계를 효율적으로 관리한다.
• 내부 그룹 및 외부 그룹 간의 비밀 공유를 적용하며, 각 사용자는 그룹 내에서 분포된 랜덤 벡터를 사용해 자신의 로컬 모델을 마스킹한 후 공유한다.
• 이중 단계 통신 모델을 사용한다: 첫 번째 단계에서는 사용자가 마스킹되고 코딩된 모델 업데이트를 전송하고, 두 번째 단계에서는 탈락한 사용자의 누락된 공유를 생존한 사용자 기여도를 바탕으로 복원한다.
• 누락된 모델 구성 요소를 복원하기 위해 라그랑주 코딩 계산 기법을 활용하여, 집계 과정에서 탈락한 사용자의 정보를 복구한다.
• 통신 그래프는 $k$-정규 트리 구조로 구성되며, 각 사용자당 $K$개의 활성 연결을 가지며 네트워크 부하와 지연을 제어할 수 있다.
• 정보 이론적 마스킹을 통해 보안을 강화한다: 모든 랜덤 벡터는 균일 분포를 가지며, 이로 인해 공모하는 사용자와 호기심 많은 서버도 개별 모델을 유추할 수 없다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝에서의 안전한 집계가 정보 이론적 하한선에 점점 더 가까운 통신 부하를 달성할 수 있는가?
• RQ2 최대 $T = o(N)$명의 공모 사용자와 $D = o(N)$명의 탈락 사용자가 있는 상황에서 통신 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 안전한 집계에서 통신 부하와 활성 네트워크 연결 수 사이의 최적 트레이드오프는 무엇인가?
• RQ4 계층적 비밀 공유와 코딩 계산을 조합하여 사용자 및 서버의 통신 비용을 줄일 수 있는가?
• RQ5 동적 사용자 탈락과 공모 저항성을 갖춘 프로토콜을 설계할 수 있으며, 이로 인해 통신 오버헤드가 증가하지 않는가?

주요 결과

• $T = o(N)$ 및 $D = o(N)$ 조건 하에서 SwiftAgg+는 사용자당 통신 부하를 $ (1 + \mathcal{O}(1/N))L $ 기호로 달성하며, 점점 더 컷셋 하한선에 수렴한다.
• 서버의 통신 부하 역시 $ (1 + \mathcal{O}(1/N))L $ 기호로, 총 통신 비용에서 점점 더 최적화된 성능을 달성한다.
• 모든 $K \in \mathbb{N}$에 대해 SwiftAgg+는 서버 통신 부하를 $ (1 + \frac{T}{K})L $ 기호로 달성하고, 사용자당 통신 부하를 최대 $ (1 + \frac{T+D}{K})L $로 유지하며, $ \frac{N}{2}(K + T + D + 1) $개의 활성 쌍방향 연결을 확보한다.
• 프로토콜은 정보 이론적 보안을 보장한다: 공모하지 않은 사용자와 서버의 시각 사이의 상호정보량은 0이며, 이는 $T$명의 사용자가 서버와 공모하더라도 동일하게 유지된다.
• 균일하게 분포된 로컬 모델 조건 하에서 사용자당 통신 부하는 컷셋 하한선에 대해 $ \log_{\ell}(\ell N) $ 요인 이내에 머무르며, 동일한 조건을 만족한다.
• 프로토콜은 집계 트리의 깊이를 조절함으로써 동적 탈락에 대한 내성과 탄력적인 지연 제어를 지원하며, 지연과 통신 효율성 사이의 트레이드오프를 가능하게 한다.