[논문 리뷰] CodedPaddedFL and CodedSecAgg: Straggler Mitigation and Secure Aggregation in Federated Learning

Reent Schlegel, Siddhartha Kumar외 2명|arXiv (Cornell University)|2021. 12. 16.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 코딩 이론을 활용해 기기 간에 부가 정보를 도입함으로써 느린 기기 문제를 해결하고 클라이언트 드리프트를 유도하지 않는 두 가지 새로운 분산 학습 기법인 CodedPaddedFL과 CodedSecAgg를 제안한다. CodedPaddedFL은 MNIST에서 기존 FL 대비 18배 빠른 속도로 95% 정확도를 달성하며, CodedSecAgg는 모델 역공학 공격에 대한 보안성을 향상시켜 LightSecAgg 대비 최대 18.7배 빠른 성능 향상을 보인다.

ABSTRACT

We present two novel federated learning (FL) schemes that mitigate the effect of straggling devices by introducing redundancy on the devices' data across the network. Compared to other schemes in the literature, which deal with stragglers or device dropouts by ignoring their contribution, the proposed schemes do not suffer from the client drift problem. The first scheme, CodedPaddedFL, mitigates the effect of stragglers while retaining the privacy level of conventional FL. It combines one-time padding for user data privacy with gradient codes to yield straggler resiliency. The second scheme, CodedSecAgg, provides straggler resiliency and robustness against model inversion attacks and is based on Shamir's secret sharing. We apply CodedPaddedFL and CodedSecAgg to a classification problem. For a scenario with 120 devices, CodedPaddedFL achieves a speed-up factor of 18 for an accuracy of 95% on the MNIST dataset compared to conventional FL. Furthermore, it yields similar performance in terms of latency compared to a recently proposed scheme by Prakash et al. without the shortcoming of additional leakage of private data. CodedSecAgg outperforms the state-of-the-art secure aggregation scheme LightSecAgg by a speed-up factor of 6.6-18.7 for the MNIST dataset for an accuracy of 95%.

연구 동기 및 목표

• 느린 또는 연결 끊김이 발생한 기기들을 무시함으로써 발생하는 클라이언트 드리프트 문제 해결
• 비독립 동일 분포(non-iid) 데이터와 기기 지연 상황에서도 글로벌 최적해 수렴을 유지하는 느린 기기 대응 분산 학습 기법 개발
• 보안 평균화를 통합해 모델 역공학 공격으로부터의 보안 강화
• 데이터 기밀성과 모델 정확도를 유지하면서도 통신 및 지연 부하를 최소화
• 대규모 이종 기기 네트워크에서의 확장성과 내구성 확보

제안 방법

• CodedPaddedFL은 데이터 기밀성을 확보하기 위해 일회성 패딩을 사용하고, 기울기 코드를 통해 느린 기기의 업데이트를 기기 간 부가 데이터를 통해 복구할 수 있도록 한다.
• CodedSecAgg는 샤미어의 비밀 분할 기법을 사용해 국소 모델 업데이트를 인코딩하여 서버가 기울기 합계만 노출되도록 하여 모델 역공학 공격을 방지한다.
• 두 기법 모두 기기에서 데이터 인코딩을 통해 부가 정보를 도입하여, 서버가 일부 기기가 느리거나 장애가 발생하더라도 일부 기기의 업데이트로부터 글로벌 모델 업데이트를 복원할 수 있도록 한다.
• 기기의 그룹화를 통해 초기 통신 부하를 줄이며, 이는 약간의 느린 기기 대응 효율성 저하를 감수하지만 전체 지연 시간을 크게 감소시킨다.
• 핵심 임베딩 기법을 통해 비선형 문제에도 적용 가능하도록 설계되어 선형 모델을 넘어서는 적용 범위를 확장한다.
• 보안 평균화는 덧셈 마스킹과 무작위 시드의 비밀 분할을 통해 구현되며, 개별 기여도를 드러내지 않고도 누락된 업데이트를 복원할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기기 데이터에 기반한 코딩 기반의 부가 정보 도입이 클라이언트 드리프트를 유도하지 않고 느린 기기 영향을 완화할 수 있는가?
• RQ2 일회성 패딩과 기울기 코드를 병합함으로써 비독립 동일 분포 데이터 환경에서 기밀성과 수렴 성능에 어떤 영향을 미치는가?
• RQ3 비밀 분할과 보안 평균화를 느린 기기 대응 코딩과 통합할 경우 모델 역공학 공격 방지에 얼마나 효과적인가?
• RQ4 기기의 그룹화가 통신 부하와 느린 기기 대응 성능 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 고비율의 느린 기기가 존재하는 대규모 네트워크에서 제안된 기법의 확장성은 어느 정도인가?

주요 결과

• CodedPaddedFL은 120대의 기기로 구성된 환경에서 MNIST 데이터셋에서 95% 정확도에 도달하는 데 있어 기존 분산 학습 대비 18배 빠른 속도를 기록했으며, 추가적인 데이터 泄露 없이 기능한다.
• CodedSecAgg는 MNIST에서 95% 정확도 달성 시, 협력하는 악성 기기 수에 따라 LightSecAgg 대비 6.6배에서 18.7배까지 빠른 성능 향상을 보였다.
• 1000대의 기기 네트워크에서 단 한 명의 악성 기지만 존재할 경우 CodedSecAgg는 LightSecAgg 대비 38.9배 빠른 성능 향상을 기록하여 강력한 확장성을 입증했다.
• 1000대 기기에서 CodedSecAgg의 보안 평균화로 인한 추가 지연 비용은 CodedPaddedFL 대비 15% 수준으로 줄었으며, 규모 증가에 따라 비용이 점점 감소함을 보였다.
• CodedSecAgg는 협력 기기 수가 많아져도 강건성을 유지하며, 120대 기기 중 60대가 협력할 경우에도 6.6배의 빠른 성능 향상을 기록했다.
• 두 기법 모두 글로벌 최적해로 수렴하며, 느린 기기 업데이트를 버리는 기법들과 달리 클라이언트 드리프트를 방지해 비독립 동일 분포 데이터 환경에서 더 신뢰할 수 있는 성능을 제공한다.