[논문 리뷰] Project Florida: Federated Learning Made Easy

Daniel Madrigal Diaz, Andre Manoel외 3명|arXiv (Cornell University)|2023. 07. 21.

Privacy-Preserving Technologies in DataComputer Science인용 수 3

한 줄 요약

Project Florida는 서비스 관리와 머신러닝 워크플로우를 분리하여 대규모, 다기기 환경의 연합학습(Federated Learning, FL) 구현을 단순화하는 플랫폼이며, FL-as-a-Service(FLaaS)를 제공한다. 다중 플랫폼 SDK, 안전한 집계, 클라우드 호스팅 오케스트레이션을 제공하며, 차별적 프라이버시 및 비동기 학습을 지원하면서도 70,000대의 기기까지 확장 가능한 성능을 입증하였다.

ABSTRACT

We present Project Florida, a system architecture and software development kit (SDK) enabling deployment of large-scale Federated Learning (FL) solutions across a heterogeneous device ecosystem. Federated learning is an approach to machine learning based on a strong data sovereignty principle, i.e., that privacy and security of data is best enabled by storing it at its origin, whether on end-user devices or in segregated cloud storage silos. Federated learning enables model training across devices and silos while the training data remains within its security boundary, by distributing a model snapshot to a client running inside the boundary, running client code to update the model, and then aggregating updated snapshots across many clients in a central orchestrator. Deploying a FL solution requires implementation of complex privacy and security mechanisms as well as scalable orchestration infrastructure. Scale and performance is a paramount concern, as the model training process benefits from full participation of many client devices, which may have a wide variety of performance characteristics. Project Florida aims to simplify the task of deploying cross-device FL solutions by providing cloud-hosted infrastructure and accompanying task management interfaces, as well as a multi-platform SDK supporting most major programming languages including C++, Java, and Python, enabling FL training across a wide range of operating system (OS) and hardware specifications. The architecture decouples service management from the FL workflow, enabling a cloud service provider to deliver FL-as-a-service (FLaaS) to ML engineers and application developers. We present an overview of Florida, including a description of the architecture, sample code, and illustrative experiments demonstrating system capabilities.

연구 동기 및 목표

• 다양하고 프라이버시에 민감한 기기 생태계에서 대규모로 연합학습을 구현하는 데 발생하는 복잡성을 해결하기 위해.
• 머신러닝 워크플로우 개발을 인프라 및 오케스트레이션 문제에서 분리하여, 머신러닝 엔지니어와 데이터 과학자들이 FLaaS를 쉽게 활용할 수 있도록 하기 위해.
• 성능, 네트워크, 보안 제약이 상이한 이질적 기기 간에 안전하고 확장 가능하며 효율적인 연합학습을 단순화하기 위해.
• 연합학습의 저수준 프라이버시, 보안 및 통신 과제를 추상화하여 실무용 플랫폼을 제공하기 위해.
• 실제 환경 및 시뮬레이션 워크로드를 통해 플랫폼의 확장성과 견고성을 검증하기 위해.

제안 방법

• 클라우드 호스팅 오케스트레이션 레이어를 사용해 서비스 관리와 머신러닝 워크플로우를 분리함으로써 개발자들이 FLaaS를 활용할 수 있도록 함.
• 다중 플랫폼 SDK(C++, Java, Python)를 제공하여 기기 간 모델 훈련, 로컬 추론, 안전한 모델 업데이트 전송을 지원함.
• 안전한 집계 및 암호학적 원리를 활용해 모델 업데이트를 보호하면서도 글로벌 모델 집계를 가능하게 함.
• 노이즈 주입을 통한 차별적 프라이버시를 지원하며, 구성 가능한 노이즈 수준과 프라이버시 예산을 제공함.
• 버퍼 기반 집계 메커니즘을 통해 비동기 학습을 구현함으로써 반복 지연을 감소시키고 확장성을 향상시킴.
• 대규모 테스트를 위해 Azure ML 시뮬레이터를 사용하여 수천 명의 동시 클라이언트를 시뮬레이션하며 네트워크 및 기기 동작을 구성 가능하게 함.

실험 결과

연구 질문

• RQ1 어떻게 다양한 이질적 기기 생태계에서 대규모 다기기 연합학습을 단순화할 수 있는가?
• RQ2 어떤 아키텍처 패턴이 관리형 서비스(FLaaS)로서의 안전하고 확장 가능하며 효율적인 FL 오케스트레이션을 가능하게 하는가?
• RQ3 실제 연합학습 워크로드에서 차별적 프라이버시는 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ4 비동기 학습은 연합학습에서 반복 지연을 얼마나 줄이고 확장성을 향상시킬 수 있는가?
• RQ5 실제 및 시뮬레이션 환경에서 FL 플랫폼의 실질적 확장 한계는 무엇인가?

주요 결과

• Project Florida는 실무 워크로드에서 70,000대의 연결된 기기까지 성공적으로 확장되었으며, 더 큰 배포에 대한 지속적인 검증이 진행 중이다.
• 차별적 프라이버시 적용으로 인해 모델 정확도가 약간 감소하고 수렴 지연이 발생하지만, 하이퍼파라미터 조정을 통해 이를 완화할 수 있다.
• 비동기 학습은 느린 클라이언트를 기다리는 시간을 줄여 평균 반복 지속 시간을 감소시키며, 정확도는 동기 학습과 유사하게 유지된다.
• 스케일링 테스트 결과, 플랫폼은 각 반복당 최대 1,000명의 동시 클라이언트를 합리적인 지연으로 처리할 수 있으며, 구성 조정을 통해 수십만 명까지 확장 가능하다.
• 안전한 집계와 차별적 프라이버시를 활용해 엣지에서부터 엔드 투 엔드 프라이버시 보장을 제공하는 다중 플랫폼 모델 훈련을 가능하게 한다.
• 분리된 아키텍처 덕분에 머신러닝 개발자는 모델 로직에 집중할 수 있고, 플랫폼은 통신, 보안 및 오케스트레이션을 담당한다.