[논문 리뷰] UniFed: All-In-One Federated Learning Platform to Unify Open-Source Frameworks

Xiaoyuan Liu, Tianneng Shi외 10명|arXiv (Cornell University)|2022. 07. 21.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

UniFed는 11개의 오픈소스 FL 프레임워크 간의 입력, 실행, 출력을 표준화함으로써 일관된 엔드 투 엔드 실험과 배포를 가능하게 하는 통합된 페더레이티드 러닝 플랫폼이다. 20개의 편집 가능한 필드를 갖춘 스키마 기반 구성 시스템을 도입하여 분산 학습 및 로깅을 지원하며, 모델 및 시스템 성능에 대한 비교 평가를 가능하게 하여, 샘플링 전략의 차이로 인해 FedML이 크로스디바이스 환경에서 Flower보다 우수한 성능을 보임을 드러냈다.

ABSTRACT

Federated Learning (FL) has become a practical and widely adopted distributed learning paradigm. However, the lack of a comprehensive and standardized solution covering diverse use cases makes it challenging to use in practice. In addition, selecting an appropriate FL framework for a specific use case can be a daunting task. In this work, we present UniFed, the first unified platform for standardizing existing open-source FL frameworks. The platform streamlines the end-to-end workflow for distributed experimentation and deployment, encompassing 11 popular open-source FL frameworks. In particular, to address the substantial variations in workflows and data formats, UniFed introduces a configuration-based schema-enforced task specification, offering 20 editable fields. UniFed also provides functionalities such as distributed execution management, logging, and data analysis. With UniFed, we evaluate and compare 11 popular FL frameworks from the perspectives of functionality, privacy protection, and performance, through conducting developer surveys and code-level investigation. We collect 15 diverse FL scenario setups (e.g., horizontal and vertical settings) for FL framework evaluation. This comprehensive evaluation allows us to analyze both model and system performance, providing detailed comparisons and offering recommendations for framework selection. UniFed simplifies the process of selecting and utilizing the appropriate FL framework for specific use cases, while enabling standardized distributed experimentation and deployment. Our results and analysis based on experiments with up to 178 distributed nodes provide valuable system design and deployment insights, aiming to empower practitioners in their pursuit of effective FL solutions.

연구 동기 및 목표

• 표준화 부족과 높은 탐색 비용으로 인해 특정 사용 사례에 적합한 FL 프레임워크를 선택하는 데 어려움이 존재하는 문제를 해결하기 위해.
• 11개의 오픈소스 FL 프레임워크 간의 다양한 워크플로우, 데이터 포맷, 출력 구조를 통합하기 위해.
• 기능, 프라이버시, 성능 측면에서 FL 프레임워크의 일관성 있고 재현 가능하며 비교 가능한 평가를 가능하게 하기 위해.
• 체계적인 벤치마킹과 분석을 통해 실무자에게 실행 가능한 권고 사항을 제공하기 위해.
• 로그 분 析를 프레임워크 선택에 통합하여 평가와 권고 사이의 루프를 완성하기 위해.

제안 방법

• 프레임워크 간 작업 사양을 표준화하기 위해 20개의 편집 가능한 필드를 갖춘 통합 구성 스키마를 설계하고 구현하기 위해.
• 실시간 검증 기능을 갖춘 UI 기반 워크플로우를 통해 프레임워크 추천 및 구성 생성을 수행하기 위해.
• 실제 시스템 성능 평가를 위해 178개 노드에서 분산 실행을 통합하기 위해.
• 프레임워크 간 비교 및 분석을 위해 일관된 형식으로 분산 로깅을 표준화하기 위해.
• 외부 데이터 분석 플랫폼과의 통합을 통해 모델 및 시스템 성능를 조사하기 위해.
• 코드 수준 분석과 개발자 설문 조사를 통해 기능, 프라이버시 메커니즘, 구현 차이를 특성화하기 위해.

실험 결과

연구 질문

• RQ1 어떤 FL 프레임워크가 수평적 및 수직적 FL 설정을 가장 잘 지원하며, 이들 간의 功能 및 프라이버시 지원에서 어떤 차이가 있는가?
• RQ2 다양한 프레임워크에서의 샘플링 전략은 크로스디바이스 FL 환경에서 모델 수렴과 시스템 성능에 어떤 영향을 미치는가?
• RQ3 트리 기반과 신경망 기반 수직 FL 프레임워크 간의 성능 트레이드오프는 무엇인가?
• RQ4 통신 비용, 메모리 사용량, 병렬 처리와 같은 시스템 수준의 요소들이 실세계 배포 효율성에 어떤 영향을 미치는가?
• RQ5 통합 플랫폼은 실무자들이 프레임워크 선택의 장벽을 낮추고 데이터 기반 권고를 통해 프레임워크 선택을 향상시킬 수 있는가?

주요 결과

• 178台의 머신을 사용한 크로스디바이스 설정에서 FedML은 48.4초로 Flower의 57.4초보다 빠른 훈련 속도를 기록했으며, 주로 샘플링 전략의 차이로 인한 것이다.
• 400 에포크 후 Fedlearner는 모든 클라이언트에서 기울기 하강법의 비효율성으로 인해 Flower(82.13%)와 FedML(80.40%)에 비해 상당히 낮은 모델 정확도(69.06%)를 기록했다.
• 트리 기반 수직 FL 프레임워크(예: FedTree)는 신경망 기반 프레임워크(예: CrypTen)보다 효율성이 높았으며, 메모리 사용량이 적고 병렬 처리 성능이 더 좋았다.
• sMPC 기반 신경망 훈련은 더 느리고 메모리 소비가 더 많았으며, 오직 한 개의 코어만 사용되어 프라이버시 보존 기법에서의 트레이드오프를 드러냈다.
• Flower와 FedML 간의 모델 성능 차이는 서로 다른 샘플링 절차에 기인한다: Flower는 각 라운드마다 다른 클라이언트를 샘플링하지만, FedML은 고정된 클라이언트 하위집합을 사용하고 클라이언트 별 인스턴스 셔플링을 적용한다.
• UniFed는 프레임워크 간 일관된 평가와 비교를 가능하게 하여, 샘플링 전략이 모델 정확도와 시스템 효율성에 측정 가능한 영향을 미친다는 것을 드러냈다.