[논문 리뷰] OpenFed: A Comprehensive and Versatile Open-Source Federated Learning Framework

Dengsheng Chen, Vince Tan외 2명|arXiv (Cornell University)|2021. 09. 16.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 4

한 줄 요약

OpenFed는 다양한 FL 토폴로지, 모듈형 알고리즘 구현, 외부 ML 라이브러리와의 원활한 통합을 지원함으로써 연구 및 산업적 구현을 간소화하기 위해 설계된 오픈소스, 파이토치 기반의 분산학습 프레임워크입니다. 표준화되고 유지보수가 쉬운 코드와 유연한 트레이닝 워크플로우 커스터마이제이션을 통해 연구자와 실무자 모두가 공정한 벤치마킹을 수행하고 구현 장벽을 낮출 수 있도록 합니다.

ABSTRACT

Recent developments in Artificial Intelligence techniques have enabled their successful application across a spectrum of commercial and industrial settings. However, these techniques require large volumes of data to be aggregated in a centralized manner, forestalling their applicability to scenarios wherein the data is sensitive or the cost of data transmission is prohibitive. Federated Learning alleviates these problems by decentralizing model training, thereby removing the need for data transfer and aggregation. To advance the adoption of Federated Learning, more research and development needs to be conducted to address some important open questions. In this work, we propose OpenFed, an open-source software framework for end-to-end Federated Learning. OpenFed reduces the barrier to entry for both researchers and downstream users of Federated Learning by the targeted removal of existing pain points. For researchers, OpenFed provides a framework wherein new methods can be easily implemented and fairly evaluated against an extensive suite of benchmarks. For downstream users, OpenFed allows Federated Learning to be plugged and play within different subject-matter contexts, removing the need for deep expertise in Federated Learning.

연구 동기 및 목표

• 다양한 FL 토폴로지와 확장성 있는 표준화된 프레임워크를 제공함으로써 연구자와 실무자의 분산학습 진입 장벽을 낮추기 위해.
• 다양한 데이터셋을 통해 일관된 구현과 표준화된 벤치마크를 통해 신규 FL 알고리즘 간의 공정하고 재현 가능한 비교를 가능하게 하기 위해.
• 허깅페이스 및 파이토치와 같은 인기 있는 머신러닝 프레임워크와의 플러그 앤 플레이 통합을 통해 실제 응용 분야에서의 유연한 배포를 지원하기 위해.
• 기존 프레임워크에서 비중앙집중형 FL 토폴로지에 대한 지원이 부족한 문제를 일반화된 분산 그룹 추상화를 통해 해결하기 위해.
• 핵심 FL 동작(예: 파라미터 집계, 기울기 누적 등)을 위한 모듈형이고 조합 가능한 컴포넌트를 제공함으로써 FL 연구를 가속화하기 위해.

제안 방법

• 프레임워크는 파이토치의 네이티브 프로그래밍 모델에 기반하여, 광범위한 딥러닝 커뮤니티가 익숙한 방식을 유지함으로써 사용의 용이성을 보장합니다.
• FL 트레이닝 워크플로우를 네 가지 모듈형이고 조합 가능한 단계로 분해합니다: 파라미터 집계, 기울기 누적, 파라미터 페널티, 상태 동기화.
• 분산 그룹 추상화를 통해 중앙집중형 외의 모든 FL 토폴로지(예: 탈중앙형, 계층형 등)를 탄력적으로 모델링할 수 있습니다.
• 허깅페이스와 같은 외부 라이브러리와의 통합을 지원하여, 저수준의 구현 없이도 최신 모델을 FL을 통해 훈련시킬 수 있습니다.
• 다양한 데이터셋을 기반으로 표준화된 벤치마크를 제공하여 새로운 FL 알고리즘의 공정한 평가를 보장합니다.
• 유지보수성과 확장성을 강조한 설계로, 연구자가 새로운 알고리즘을 구현할 때 특정 워크플로우 컴포넌트만 수정하면 됩니다.

실험 결과

연구 질문

• RQ1 중앙집중형 FL을 초월한 다양한 토폴로지를 지원할 수 있도록 분산학습 프레임워크를 어떻게 설계할 수 있는가?
• RQ2 다양한 구현 간의 공정하고 재현 가능한 신규 FL 알고리즘 평가를 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 허깅페이스 및 파이토치와 같은 기존 딥러닝 라이브러리와의 상호운용성을 어떻게 달성할 수 있는가?
• RQ4 연구자가 새로운 FL 방법을 효율적으로 구현하고 평가할 수 있도록 하기 위한 주요 소프트웨어 엔지니어링 과제는 무엇인가?
• RQ5 기존 머신러닝 툴체인과의 추상화 및 통합을 통해 산업적 FL 구현을 어떻게 가속화할 수 있는가?

주요 결과

• OpenFed는 분산 그룹 추상화를 통해 다양한 FL 토폴로지를 지원하여 중앙집중형 구조를 초월한 탄력적이고 확장 가능한 아키텍처를 실현합니다.
• 파라미터 집계, 기울기 누적, 페널티, 상태 동기화로 나누어진 모듈형 워크플로우 설계 덕분에 다양한 FL 알고리즘을 명확하고 유지보수가 쉬우며 조합 가능한 방식으로 구현할 수 있습니다.
• 파이토치의 네이티브 설계를 따름으로써 낮은 학습 곡선과 기존 딥러닝 워크플로우 및 도구와의 높은 호환성을 확보합니다.
• 허깅페이스와 같은 인기 있는 외부 라이브러리와의 원활한 통합을 통해 실제 응용 분야에서 FL을 구현하는 데 필요한 노력과 시간을 크게 줄였습니다.
• 다양한 데이터셋을 기반으로 한 표준화된 벤치마크 덕분에 새로운 FL 방법의 평가가 공정하고 일관되게 이루어지며, 데이터셋 및 구현 방식의 차이로 인한 편향을 줄일 수 있습니다.
• OpenFed는 재현성, 상호운용성, 알고리즘 실험 등 FL 연구의 핵심 과제를 해결함으로써 분야 내 혁신을 가속화하고 있습니다.