[논문 리뷰] LightSecAgg: Rethinking Secure Aggregation in Federated Learning

Chien-Sheng Yang, Jinhyun So외 4명|arXiv (Cornell University)|2021. 09. 29.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 14

한 줄 요약

LightSecAgg는 페더럴 러닝을 위한 혁신적인 보안 집계 프로토콜을 제안하며, 활성 사용자들이 인코딩한 마스크로부터 서버가 직접 집합 마스크를 복원할 수 있도록 함으로써 효율적이고 드롭아웃에 강건한 모델 집계를 가능하게 한다. 이로 인해 기준선 대비 최대 12.7배 빠른 훈련 속도를 달성하면서도 강력한 프라이버시 및 강건성 보장을 유지한다.

ABSTRACT

Secure model aggregation is a key component of federated learning (FL) that aims at protecting the privacy of each user's individual model, while allowing their global aggregation. It can be applied to any aggregation-based approaches, including algorithms for training a global model, as well as personalized FL frameworks. Model aggregation needs to also be resilient to likely user dropouts in FL system, making its design substantially more complex. State-of-the-art secure aggregation protocols essentially rely on secret sharing of the random-seeds that are used for mask generations at the users, in order to enable the reconstruction and cancellation of those belonging to dropped The complexity of such approaches, however, grows substantially with the number of dropped We propose a new approach, named LightSecAgg, to overcome this bottleneck by turning the focus from random-seed reconstruction of the dropped to one-shot aggregate-mask reconstruction of the active users. More specifically, in LightSecAgg each user protects its local model by generating a single random mask. This mask is then encoded and shared to other users, in such a way that the aggregate-mask of any sufficiently large set of active users can be reconstructed directly at the server via encoded masks. We show that LightSecAgg achieves the same privacy and dropout-resiliency guarantees as the state-of-the-art protocols, while significantly reducing the overhead for resiliency to dropped Furthermore, our system optimization helps to hide the runtime cost of offline processing by parallelizing it with model training. We evaluate LightSecAgg via extensive experiments for training diverse models on various datasets in a realistic FL system, and demonstrate that LightSecAgg significantly reduces the total training time, achieving a performance gain of up to $12.7 imes$ over baselines.

연구 동기 및 목표

• 사용자 드롭아웃이 발생할 경우에도 성능이 급격히 떨어지는 기존 보안 집계 프로토콜의 높은 계산 및 통신 오버헤드 문제를 해결한다.
• 훈련 중 사용자 드롭아웃이 발생하더라도 강력한 프라이버시 및 드롭아웃에 대한 강건성 보장을 유지한다.
• 드롭아웃된 사용자들의 랜덤 시드를 복원하는 데서 비용이 많이 들기 때문에, 이를 피하고 활성 사용자들의 마스크로부터 직접 집합 마스크를 복원함으로써 보안 집계의 런타임 비용을 줄인다.
• 모델 훈련과 동시에 오프라인 처리를 병렬화하여 시스템 성능을 최적화한다.
• 자주 사용자 드롭아웃이 발생하는 현실적인 동적 페더럴 러닝 환경에서 보안 집계의 효율적 구현을 가능하게 한다.

제안 방법

• 각 사용자는 자신의 로컬 모델을 보호하기 위해 단일 랜덤 마스크를 생성한 후 이를 서버에 전송한다.
• 사용자들은 마스크를 비밀 공유 기법을 사용해 인코딩하여, 충분히 큰 활성 사용자 집합이 함께 모여 서버에서 집합 마스크를 공동으로 복원할 수 있도록 한다.
• 서버는 드롭아웃된 사용자들의 랜덤 시드를 복원할 필요 없이, 활성 사용자들의 인코딩된 마스크로부터 직접 집합 마스크를 복원한다.
• 프로토콜은 인코딩의 선형 대수적 성질을 활용하여 위협 모델 하에서 정확성과 프라이버시를 보장한다.
• 인코딩을 위한 오프라인 계산은 모델 훈련과 병렬화되어 런타임 비용을 숨긴다.
• 시스템은 글로벌 및 개인화된 페더럴 러닝 프레임워크 모두와 호환되도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 드롭아웃된 사용자들의 랜덤 시드를 복원할 필요 없이 보안 집계를 더 효율적으로 만들 수 있는가?
• RQ2 활성 사용자들의 인코딩된 마스크로부터만 집합 마스크를 안전하고 효율적으로 복원할 수 있는가?
• RQ3 예를 들어 오프라인 처리를 병렬화하는 등의 시스템 수준 최적화를 통해 보안 페더럴 러닝에서 종단 간 훈련 지연을 얼마나 줄일 수 있는가?
• RQ4 제안된 방법은 최신 기술 수준의 프로토콜과 동일한 강력한 프라이버시 및 드롭아웃에 대한 강건성 보장을 유지하는가?
• RQ5 높은 사용자 드롭아웃 비율을 가진 현실적인 페더럴 러닝 환경에서 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• LightSecAgg는 현실적인 페더럴 러닝 환경에서 기준선 보안 집계 프로토콜 대비 총 훈련 시간을 최대 12.7배 단축시킨다.
• 프로토콜은 최신 기술 수준의 방법과 동일한 수준의 프라이버시 및 드롭아웃에 대한 강건성을 유지하여, 일부 사용자가 드롭아웃하더라도 어떤 사용자의 모델도 노출되지 않음을 보장한다.
• 랜덤 시드 복원에서 집합 마스크 직접 복원으로 전환함으로써, 사용자 드롭아웃을 처리하는 데 관련된 계산 및 통신 오버헤드를 크게 감소시킨다.
• 오프라인 인코딩 처리를 모델 훈련과 병렬화하는 등의 시스템 최적화를 통해 프리프로세싱의 지연을 효과적으로 숨기며, 실세계 적용 가능성 향상에 기여한다.
• 다양한 모델과 데이터셋과도 호환되어 다양한 페더럴 러닝 워크로드에서 일관된 성능 향상을 보여준다.
• 드롭아웃된 사용자 수가 증가함에 따라 효율적으로 스케일업되며, 복잡도가 드롭아웃 수에 따라 증가하지 않는다.