[논문 리뷰] Securing Secure Aggregation: Mitigating Multi-Round Privacy Leakage in Federated Learning

Jinhyun So, Ramy E. Ali외 3명|arXiv (Cornell University)|2021. 06. 07.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 19

한 줄 요약

이 논문은 여러 훈련 라운드에 걸쳐 서버가 개별 사용자의 로컬 모델을 복원하는 것을 방지함으로써 장기적인 프라이버시 보장을 제공하는 구조적 사용자 선택 전략인 Multi-RoundSecAgg를 제안한다. 기존의 랜덤 사용자 선택 방식과 달리, 선형 수준의 라운드 이후에 모델 정보가 泄露되는 것과는 달리, Multi-RoundSecAgg는 랭크가 빈약한 참가 행렬로 인해 개별 기울기를 추정할 수 없게 하여 강력한 프라이버시를 확보하며, MNIST, CIFAR-10, CIFAR-100 데이터셋에서 정확도 손실 최소화를 달성한다.

ABSTRACT

Secure aggregation is a critical component in federated learning (FL), which enables the server to learn the aggregate model of the users without observing their local models. Conventionally, secure aggregation algorithms focus only on ensuring the privacy of individual users in a single training round. We contend that such designs can lead to significant privacy leakages over multiple training rounds, due to partial user selection/participation at each round of FL. In fact, we show that the conventional random user selection strategies in FL lead to leaking users' individual models within number of rounds that is linear in the number of users. To address this challenge, we introduce a secure aggregation framework, Multi-RoundSecAgg, with multi-round privacy guarantees. In particular, we introduce a new metric to quantify the privacy guarantees of FL over multiple training rounds, and develop a structured user selection strategy that guarantees the long-term privacy of each user (over any number of training rounds). Our framework also carefully accounts for the fairness and the average number of participating users at each round. Our experiments on MNIST and CIFAR-10 datasets in the IID and the non-IID settings demonstrate the performance improvement over the baselines, both in terms of privacy protection and test accuracy.

연구 동기 및 목표

• 기존의 안전한 집계가 단일 라운드에서만 프라이버시를 보호함에도 불구하고, 다수의 라운드에 걸쳐 반복적으로 참여하는 상황에서 발생하는 분산 학습의 핵심적 프라이버시 격차를 해결하기 위함.
• 부분적 사용자 참여 및 랜덤 선택 전략으로 인한 분산 학습에서의 장기적 프라이버시 泄露를 정량화하기 위함.
• 어떤 수의 훈련 라운드 동안에도 개인 모델의 프라이버시를 보장하는 구조적 사용자 선택 메커니즘을 설계하기 위함.
• 평균 참가자 수와 선택의 공정성 조절을 통해 장기적 프라이버시와 시스템 효율성의 균형을 이루기 위함.
• 제안된 방법이 랜덤 선택과 유사한 테스트 정확도를 달성하면서도 장기적 프라이버시를 크게 향상시킬 수 있음을 입증하기 위함.

제안 방법

• 서버가 임의의 수의 라운드에서의 집계된 업데이트를 이용해 개별 로컬 모델을 복원할 수 있는 능력을 측정하는 새로운 프라이버시 메트릭을 도입한다.
• 사용자를 블록 단위로 그룹화하여, 라운드 간 참가 행렬이 랭크가 빈약해지도록 하는 구조적 사용자 선택 전략을 설계한다. 이는 최소 제곱 추정을 통한 기울기 역전환 공격를 방지한다.
• 라운드 t₀에서 t₁−1까지의 참가 행렬 P^(t₀;t₁)를 사용하여, 이 행렬이 전순위가 아님을 보장함으로써, 최소 제곱 해의 역행렬이 존재하지 않게 한다.
• P^(t₀;t₁)가 전순위일 경우에만 최소 제곱 방법을 사용해 개별 기울기를 추정하며, 그렇지 않으면 복원이 불가능하다.
• 평균 참가자 수와 다중 라운드 프라이버시 보장 수준 T를 조절하여 프라이버시와 효율성의 상호 보완적 관계를 제어한다.
• 수렴 분석을 통해 더 높은 프라이버시(더 큰 T)는 수렴 속도를 감소시키며, 동일한 정확도에 도달하기 위해 더 많은 라운드가 필요하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 분산 학습에서 기존의 K-균일 랜덤 선택 전략은, 각 라운드마다 안전한 집계가 적용되더라도, 여러 라운드에 걸쳐 개별 로컬 모델을 복원할 수 있는가?
• RQ2 단일 라운드 보호를 초월하여, 분산 학습에서 장기적 프라이버시를 공식적으로 정량화할 수 있는 방법은 무엇인가?
• RQ3 어떤 구조적 사용자 선택 전략이 어떤 수의 훈련 라운드 동안에도 개인 모델의 프라이버시를 보장할 수 있는가?
• RQ4 분산 학습에서 장기적 프라이버시, 수렴 속도, 평균 참가자 수 간의 상호 보완적 관계는 어떠한가?
• RQ5 프라이버시 보존 선택 전략은 랜덤 선택과 유사한 높은 테스트 정확도를 유지하면서도 모델 역전환 공격을 방지할 수 있는가?

주요 결과

• 기존의 K-균일 랜덤 선택 전략은 재구성 오차가 6.715×10⁻³으로 나타나, 서버가 개별 로컬 기울기를 정확하게 복원할 수 있다.
• T=2로 설정한 Multi-RoundSecAgg의 재구성 오차는 0.7829로 나타나, 랭크가 빈약한 참가 행렬로 인해 서버가 개별 기울기를 복원할 수 없음을 시사한다.
• 재구성된 기울기에 대한 모델 역전환 공격 결과, PSNR 및 MSE 측정 기준으로 Multi-RoundSecAgg(T=2,4)에서는 원본 이미지와의 유사도가 랜덤 선택(T=1)보다 유의미하게 낮게 나타난다.
• MNIST, CIFAR-10, CIFAR-100 데이터셋에서 Multi-RoundSecAgg는 랜덤 선택과 거의 동일한 테스트 정확도를 달성하여, 성능 저하가 최소화됨을 입증한다.
• Multi-RoundSecAgg의 수렴 속도는 프라이버시 보장 수준 T가 증가할수록 감소하며, 랜덤 선택과 동일한 정확도 수준에 도달하기 위해 더 많은 라운드가 필요하다.
• 이 프레임워크는 공정성, 평균 참가자 수, 장기적 프라이버시 간의 균형을 달성하며, 프라이버시 요구 수준이 높아질수록 평균 참가자 수가 감소한다.