[논문 리뷰] FederatedScope: A Flexible Federated Learning Platform for Heterogeneity

Yuexiang Xie, Zhen Wang외 7명|arXiv (Cornell University)|2022. 04. 11.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

FederatedScope는 이벤트 기반 아키텍처를 통해 데이터, 자원, 행동 및 학습 목표의 다양한 이질성에 대응하도록 설계된 유연한 피어드러닝 플랫폼입니다. 사용자 정의 가능한 참가자 행동을 지원하고 비동기 학습을 가능하게 하며, 프라이버시 보호, 공격 시뮬레이션, 하이퍼파rameter 튜닝을 위한 플러그인을 통합하여 FL의 유연성과 실용적 구현을 크게 향상시킵니다.

ABSTRACT

Although remarkable progress has been made by existing federated learning (FL) platforms to provide infrastructures for development, these platforms may not well tackle the challenges brought by various types of heterogeneity, including the heterogeneity in participants' local data, resources, behaviors and learning goals. To fill this gap, in this paper, we propose a novel FL platform, named FederatedScope, which employs an event-driven architecture to provide users with great flexibility to independently describe the behaviors of different participants. Such a design makes it easy for users to describe participants with various local training processes, learning goals and backends, and coordinate them into an FL course with synchronous or asynchronous training strategies. Towards an easy-to-use and flexible platform, FederatedScope enables rich types of plug-in operations and components for efficient further development, and we have implemented several important components to better help users with privacy protection, attack simulation and auto-tuning. We have released FederatedScope at https://github.com/alibaba/FederatedScope to promote academic research and industrial deployment of federated learning in a wide range of scenarios.

연구 동기 및 목표

• 기존 피어드러닝 플랫폼이 데이터, 자원, 행동 및 학습 목표의 다양한 이질성 처리에 한계를 보이고 있는 문제를 해결한다.
• 협업 로직과 학습 로직을 분리함으로써 이벤트 기반 아키텍처를 통해 사용자 정의 가능한 참가자 행동을 가능하게 한다.
• 실세계 구현 환경에서 자원 이질성을 수용하기 위해 동기 및 이방향 학습 전략을 모두 지원한다.
• 개인화된 FL, 이질적인 학습 목표, 프라이버시 보존 학습과 같은 고급 FL 사용 사례를 촉진한다.
• 차별적 프라이버시, 공격 시뮬레이션, 하이퍼파rameter 최적화와 같은 핵심 功能을 위한 확장 가능한 플러그인 컴ponent를 제공한다.

제안 방법

• 각 참가자의 행동이 이벤트-핸들러 쌍으로 정의되는 이벤트 기반 아키텍처를 사용하여 독립적이고 사용자 정의 가능한 학습 프로세스를 가능하게 한다.
• 협업 로직을 참가자 행동에서 분리하여 다양한 전략(동기/이방향)을 사용한 학습 라운드의 탄력적 오케스트레이션을 가능하게 한다.
• 다양한 메시지 유형(예: 모델 가중치, 기울기, 임bedding)의 교환을 지원하여 이질적인 통신 패턴을 수용한다.
• 모듈러 컴포넌트를 통해 백엔드에 종속되지 않는 학습을 구현하여 클라이언트별로 다양한 계산 그래프와 구성이 가능하도록 한다.
• FedEx, SHA, 랜덤 서치 등의 방법을 사용하여 차별적 프라이버시(DP), 멤버십 인식 공격, 하이퍼파rameter 최적화(HPO)를 위한 플러그인 모듈을 통합한다.
• 사용자가 핵심 로직을 수정하지 않고도 새로운 기능을 통합할 수 있도록 모듈러 컴포넌트 시스템을 설계한다.

실험 결과

연구 질문

• RQ1 데이터, 자원, 학습 목표 이질성으로 인한 다양한 참가자 행동을 효과적으로 지원할 수 있는 피어드러닝 플랫폼의 설계는 어떻게 이루어질 수 있는가?
• RQ2 단일 구조나 고정된 프레임워크에 비해 이벤트 기반 아키텍처가 FL 플랫폼의 유연성과 확장성에 얼마나 기여하는가?
• RQ3 실제 공격 시나리오에서 차별적 프라이버시 같은 프라이버시 보존 메커니즘이 모델의 유용성에 어떤 영향을 미치는가?
• RQ4 더 느린 수렴 속도에도 불구하고, 세밀한 하이퍼파라미터 최적화(FedEx)가 표준 HPO 방법보다 최종 모델 성능에서 뛰어나게 되는가?
• RQ5 이방향 학습 전략은 이질적인 FL 환경에서 느리거나 신뢰할 수 없는 클라이언트의 영향을 어떻게 완화하는가?

주요 결과

• FederatedScope는 이벤트-핸들러 쌍을 통해 참가자별 맞춤형 학습 프로세스를 가능하게 하여 다양한 행동과 학습 목표를 지원한다.
• 플랫폼은 배치 정규화(BatchNorm) 레이어 파라미터를 제외함으로써 FedBN의 통신 비용을 감소시키고, Ditto에서 클라이언트별 맞춤 미세조정을 가능하게 하여 강건성을 향상시켰다.
• 노이즈 주입을 통한 차별적 프라이버시 적용으로, 테스트 정확도가 노이즈가 주입된 클라이언트 비율이 0%에서 100%로 증가함에 따라 84%에서 65%로 감소하여 명확한 프라이버시-유용성 트레이드오프를 입증했다.
• DLG 기반 프라이버시 공격은 비프라이버시 클라이언트의 훈련 데이터를 성공적으로 재구성했지만, DP를 사용하는 클라이언트에서는 실패했으며, 이는 FederatedScope에서 차별적 프라이버시의 효과성을 확인한다.
• FederatedScope에 통합된 세밀한 HPO 방법인 FedEx는 수렴 속도가 느리더라도 랜덤 서치(RS)/SHA와 같은 래퍼 방법보다 훨씬 높은 테스트 정확도(예: 82.1% 대 79.3%)를 달성했다.
• 플랫폼의 모듈러 플러그인 설계 덕분에 프라이버시, 보안, 최적화 컴포넌트의 원활한 통합이 가능해져 실세계 적용 가능성과 연구 확장성을 향상시켰다.