[논문 리뷰] FLINT: A Platform for Federated Learning Integration

Ewen Wang, Ajay Kannan외 3명|arXiv (Cornell University)|2023. 02. 24.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

FLINT는 기존의 중심집중형 머신러닝 시스템과 통합되어 크로스디바이스 FL 배포의 체계적인 평가를 가능하게 하는 장치-클라우드 공동작동형 연합학습 플랫폼이다. 현실적인 시뮬레이션, 자원 추정, 의사결정 워크플로우를 결합함으로써 FLINT는 팀이 FL 프로젝트의 리스크를 줄이고, 모델 및 시스템 설계를 최적화하며, 성능과 프라이버시 향상이 입증되는 방식으로 수억 명의 사용자에게 책임감 있게 FL을 확장할 수 있도록 지원한다.

ABSTRACT

Cross-device federated learning (FL) has been well-studied from algorithmic, system scalability, and training speed perspectives. Nonetheless, moving from centralized training to cross-device FL for millions or billions of devices presents many risks, including performance loss, developer inertia, poor user experience, and unexpected application failures. In addition, the corresponding infrastructure, development costs, and return on investment are difficult to estimate. In this paper, we present a device-cloud collaborative FL platform that integrates with an existing machine learning platform, providing tools to measure real-world constraints, assess infrastructure capabilities, evaluate model training performance, and estimate system resource requirements to responsibly bring FL into production. We also present a decision workflow that leverages the FL-integrated platform to comprehensively evaluate the trade-offs of cross-device FL and share our empirical evaluations of business-critical machine learning applications that impact hundreds of millions of users.

연구 동기 및 목표

• 대규모 프로덕션 환경에서 크로스디바이스 연합학습(FL)에 대한 체계적인 평가 프레임워크 부족 문제를 해결하기 위해.
• 중앙집중형 학습에서 연합학습으로의 이행 과정에서 발생할 수 있는 리스크를 줄이기 위해, 성능 저하, 사용자 경험 악화, 인프라 비용 초과 등의 문제를 해결하기 위해.
• ML 전문가들이 프로덕션 배포 이전에 시스템 자원 요구사항, 모델 성능, 실제 제약 조건을 추정할 수 있도록 도구를 제공하기 위해.
• 중앙집중형과 디바이스 내 머신러닝 간 공존 모델을 구현하여 클라우드와 디바이스의 데이터 및 컴퓨팅 자원을 모두 활용하기 위해.
• 학습 방식, 하이퍼파rameter, 모델 복잡도와 같은 FL 설계 선택 사항의 상호 교환 관계를 경험적으로 평가할 수 있는 의사결정 워크플로우를 구축하기 위해.

제안 방법

• FLINT는 LinkedIn의 기존 중심집중형 머신러닝 플랫폼과 통합되어 FL 실험을 위한 통합 환경을 제공한다.
• 장치 프로파일, 실제 사용 트레이스, 가상 시계를 활용하여 장치 가용성과 이질성을 모델링하는 방식으로 FedScale을 확장한 고도화된 시뮬레이션 기능을 구현한다.
• 플랫폼은 데이터 편향, 장치의 컴퓨팅 및 메모리 제약, 네트워크 페이로드 제한 등을 현실적으로 시뮬레이션할 수 있다.
• 동기식 대비 异기식 학습 방식, 모델 아키텍처, 하이퍼파rameter 등 다양한 요소 간의 상호 교환 관계를 평가하기 위해 의사결정 워크플로우를 구현한다.
• 시스템은 인프라 비용, 모델 크기, 디바이스 내 추론 지연, 데이터 페이로드 볼륨을 추정하여 프로덕션 결정을 안내한다.
• 연합학습 벤치마크를 위한 시뮬레이션 정밀도를 향상시키기 위해 FedScale에 대한 오픈소스 기여를 수행했다.

실험 결과

연구 질문

• RQ1 대규모 프로덕션 환경에서 크로스디바이스 연합학습의 실현 가능성과 상호 교환 관계를 체계적으로 평가하기 위해 장치-클라우드 공동작동 플랫폼이 어떻게 기여할 수 있는가?
• RQ2 장치 가용성, 데이터 편향, 컴퓨팅 이질성 등의 실제 시스템 제약 조건이 FL 학습 성능과 사용자 경험에 어떤 영향을 미치는가?
• RQ3 ML 전문가들이 대규모 FL 모델을 배포하기 전에 인프라 비용과 자원 요구사항을 어떻게 추정할 수 있는가?
• RQ4 모델 아키텍처와 하이퍼파rameter가 이질적인 장치 환경에서 디바이스 내 성능과 전체 시스템 수렴에 어떤 영향을 미치는가?
• RQ5 기존 중심집중형 머신러닝 시스템과 통합된 플랫폼은 어떻게 안전하고 데이터 기반의 이행을 가능하게 하는가?

주요 결과

• FLINT는 프로덕션 배포에 핵심적인 영향을 미치는 데이터 페이로드 볼륨, 모델 크기, 디바이스 내 추론 지연 등의 시스템 자원 요구사항을 정확하게 추정할 수 있다.
• 플랫폼의 시뮬레이션 프레임워크는 실제 장치 가용성 패턴을 잘 반영하여 피크 참여율 대비 저조 참여율에서 14배의 변동성을 보였으며, 이는 이전의 벤치마크보다 크게 높은 수준이다.
• 광고, 메시지 분류, 검색 순위 매기기 등 세 가지 핵심 비즈니스 애플리케이션에 대한 경험적 평가 결과, FL이 중앙집중형 학습을 대체할 수 있으며, 사용자 프라이버시와 시스템 성능 향상에 기여함을 입증했다.
• FL에서의 모델 성능은 데이터 편향과 장치 이질성에 매우 민감하며, 최적화되지 않은 모델은 저성능 장치에서 성능 저하가 심하게 발생한다.
• 의사결정 워크플로우를 통해 팀은 최적의 하이퍼파rameter와 학습 방식을 식별할 수 있었으며, 프로덕션 론칭 시 예기치 못한 실패의 위험을 줄일 수 있었다.
• 중심집중형 머신러닝 플랫폼과 통합되어 FL을 익숙한 환경에서 평가할 수 있도록 함으로써 개발자 관성 감소와 함께 도입 속도 향상을 이끌었다.