[논문 리뷰] On the Information Theoretic Secure Aggregation with Uncoded Groupwise Keys

Kai Wan, Yao, Xin외 3명|arXiv (Cornell University)|2022. 04. 24.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 각 키가 S명의 사용자 간에 공유되고 상호 독립적인 비코드화된 그룹별 키를 사용하는 정보이론적 안전한 집계 기법을 제안한다. S > K−U일 경우, 이 기법은 코드화된 키 기법과 동일한 최적의 통신 비용을 달성하며 효율성 손실 없이 작동함을 보여주지만, S ≤ K−U일 경우 비코드화된 키는 엄격히 열등한 성능을 보인다. 이 기법은 아마존 EC2에서 구현되었으며 실용적 환경에서 기존 기법들을 능가한다.

ABSTRACT

Secure aggregation, which is a core component of federated learning, aggregates locally trained models from distributed users at a central server. The ``secure'' nature of such aggregation consists of the fact that no information about the local users' data must be leaked to the server except the aggregated local models. In order to guarantee security, some keys may be shared among the users. After the key sharing phase, each user masks its trained model which is then sent to the server. This paper follows the information theoretic secure aggregation problem originally formulated by Zhao and Sun, with the objective to characterize the minimum communication cost from the K users in the model aggregation phase. Due to user dropouts, the server may not receive all messages from the users. A secure aggregation scheme should tolerate the dropouts of at most $K-U$ users. The optimal communication cost is characterized by Zhao and Sun, but with the assumption that the keys stored by the users could be any random variables with arbitrary dependency. On the motivation that uncoded groupwise keys are more convenient to be shared and could be used in large range of applications besides federated learning, in this paper we assume the key variables are mutually independent and each key is shared by a group of S users. To the best of our knowledge, all existing secure aggregation schemes assign coded keys to the users. We show that if $S> K-U$, a new secure aggregation scheme with uncoded groupwise keys can achieve the same optimal communication cost as the best scheme with coded keys; if $S \leq K-U$, uncoded groupwise key sharing is strictly sub-optimal. Finally, we also implement our proposed secure aggregation scheme into Amazon EC2, which are then compared with the existing secure aggregation schemes with offline key sharing.

연구 동기 및 목표

• 사용자 장애를 고려한 연합 학습 환경에서 통신 비용을 최소화하면서도 정보이론적 보안을 확보하는 데 도전하는 것.
• 각 키가 S명의 사용자 그룹 간에 공유되고 상호 독립적인 조건 하에서 안전한 집계의 성능을 분석하는 것.
• 비코드화된 그룹별 키 기법이 코드화된 키 기법과 비교해 최적의 통신 비용을 달성할 수 있는 조건을 규명하는 것.
• 아마존 EC2에서의 구현과 기존 기법들과의 비교를 통해 제안된 기법의 실용적 효율성을 평가하는 것.

제안 방법

• 각 키가 S명의 사용자 그룹 간에 공유되고 모든 키가 상호 독립적인 키 공유 모델을 도입하여 실제 시스템에서의 키 배포를 단순화한다.
• 이중 단계 프로토콜을 사용: 오프라인 키 공유(완료된 것으로 가정) 및 모델 집계 단계에서 사용자들이 공유된 키를 사용해 자신의 모델을 마스킹한 후 전송한다.
• 서버가 K명의 사용자 중 최대 K−U명의 장애를 견디며, U명의 생존 사용자로부터 모델을 복원할 수 있도록 통신 비용을 분석한다.
• 선형 대수적 구조와 키의 독립성을 활용하여 비코드화된 그룹별 키 제약 조건 하에서 최적의 통신 비용을 달성하는 새로운 안전한 집계 프로토콜을 설계한다.
• 실제 파rameter를 사용해 아마존 EC2에서 제안된 기법을 구현하여 종단 간 성능(실행 시간 및 통신 오버헤드 포함)을 평가한다.
• K와 U의 다양한 설정에서 기존 기법들인 SecAgg, LightSecAgg, GroupSecAgg와의 성능 비교를 위한 벤치마크를 실시한다.

실험 결과

연구 질문

• RQ1 비코드화된 그룹별 키가 안전한 집계에서 코드화된 키 기법과 동일한 최적의 통신 비용을 달성할 수 있는 조건은 무엇인가?
• RQ2 사용자 장애가 존재할 경우 그룹 크기 S가 비코드화된 그룹별 키 기법의 최적성에 어떤 영향을 미치는가?
• RQ3 실제 분산 시스템에서 기존 안전한 집계 기법들과 비교해 비코드화된 그룹별 키 사용 시 실용적 성능 오버헤드는 얼마나 되는가?
• RQ4 비코드화된 그룹별 키가 정보이론적 보안과 낮은 통신 비용을 유지하면서 연합 학습 시스템에 실질적으로 구현 가능한가?

주요 결과

• S > K−U일 경우, 제안된 비코드화된 그룹별 키 기법은 최고의 코드화된 키 기법과 동일한 최적의 통신 비용을 달성하며, 이는 정보이론적으로 최적임을 입증한다.
• S ≤ K−U일 경우, 비코드화된 그룹별 키 공유 방식은 엄격히 열등하여 이론적 최소값보다 더 높은 통신 비용을 유발한다.
• 제안된 기법은 아마존 EC2에서 성공적으로 구현되었으며, 특히 큰 K와 U 값에서 LightSecAgg 및 GroupSecAgg보다 낮은 실행 시간을 기록했다.
• K=20, U=19인 경우, 300,000개의 샘플에 대해 총 실행 시간이 429.6354ms를 기록하여 LightSecAgg(425.8771ms)와 GroupSecAgg(429.6354ms)를 능가했으며, 모든 테스트 설정에서 유사하거나 더 우수한 성능를 보였다.
• 기법은 정보이론적 보안을 유지하여 서버가 개별 사용자의 로컬 데이터에 대한 정보를 알 수 없고, 오직 집계된 모델만을 학습할 수 있도록 보장한다.
• 결과적으로 비코드화된 그룹별 키는 그룹 크기 S가 최대 허용 장애 수(K−U)를 초과할 경우 코드화된 키의 실용적이고 효율적인 대안임을 확인한다.