[논문 리뷰] IBM Federated Learning: an Enterprise Framework White Paper V0.1

Heiko Ludwig, Nathalie Baracaldo외 22명|arXiv (Cornell University)|2020. 07. 22.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 111

한 줄 요약

IBM Federated Learning은 엔터프라이즈급 프레임워크로, 분산 데이터 소스에서 모듈형 아키텍처를 통해 학습을 가능하게 하며, 다수의 ML 라이브러리와 프라이버시 보호 옵션을 지원합니다.

ABSTRACT

Federated Learning (FL) is an approach to conduct machine learning without centralizing training data in a single place, for reasons of privacy, confidentiality or data volume. However, solving federated machine learning problems raises issues above and beyond those of centralized machine learning. These issues include setting up communication infrastructure between parties, coordinating the learning process, integrating party results, understanding the characteristics of the training data sets of different participating parties, handling data heterogeneity, and operating with the absence of a verification data set. IBM Federated Learning provides infrastructure and coordination for federated learning. Data scientists can design and run federated learning jobs based on existing, centralized machine learning models and can provide high-level instructions on how to run the federation. The framework applies to both Deep Neural Networks as well as ``traditional'' approaches for the most common machine learning libraries. {\proj} enables data scientists to expand their scope from centralized to federated machine learning, minimizing the learning curve at the outset while also providing the flexibility to deploy to different compute environments and design custom fusion algorithms.

연구 동기 및 목표

• 데이터를 프라이버시, 규제 또는 물류 제약으로 인해 중앙 집중화할 수 없는 엔터프라이즈 환경에서 연합학습를 동기화하고 정의합니다.
• 연합학습을 기존 ML 워크플로우 및 라이브러리와 통합하는 사용하기 쉽고 확장 가능한 프레임워크를 제안합니다.
• 다양한 컴퓨트 환경과 데이터 이질성을 지원하는 아키텍처를 제공하면서도 안전한 협업을 가능하게 합니다.
• ML 전문가 및 IT 운영의 온보딩을 단순화하여 생산 현장에 연합학습의 신속한 배치를 촉진합니다.

제안 방법

• 집계자 A와 당사자 Pi를 사용한 형식적 FL 모델을 제시하고, 로컬 업데이트에서 글로벌 모델 MG를 업데이트하는 질의 L과 융합 F 과정을 상세히 설명합니다.
• Connection, Protocol Handler, Data Handler, FusionHandler, LocalTrainingHandler, FLModel 어댑터를 포함하는 IBM Federated Learning의 계층형 아키텍처를 설명합니다.
• 신경망과 의사결정 트리가 각각 IterAvg/FedAvg 및 ID3 기반 접근법을 사용하여 연합 설정에서 어떻게 학습될 수 있는지 설명합니다.
• Cross-library 상호 운용성을 가능하게 하는 FLModel 래퍼(Keras, PyTorch, TensorFlow, Scikit-learn 등)를 통해 여러 ML 라이브러리를 지원합니다.
• 차분 프라이버시 및 안전한 다자간 계산을 포함한 프라이버시 보호 확장을 다루며, 암호 기술을 통합하기 위한 유연한 API를 제공합니다.

실험 결과

연구 질문

• RQ1 데이터가 클라우드 간, 온 프레미스 데이터 센터 및 엣지 디바이스에 분산된 엔터프라이즈 환경에서 연합학습을 효과적으로 구현하려면 어떻게 해야 합니까?
• RQ2 데이터 과학자의 학습 곡선을 최소화하면서 FL을 기존 ML 워크플로우에 통합하기 위해 필요한 아키텍처 패턴과 구성요소는 무엇입니까?
• RQ3 모듈식 IBM Federated Learning 프레임워크 내에서 FedAvg, Krum, Zeno와 같은 일반적인 FL 알고리즘을 어떻게 구현할 수 있습니까?
• RQ4 통신 비용이나 계산 오버헤드가 큰 부담 없이 프레임워크에 통합될 수 있는 프라이버시 및 보안 메커니즘(차등 프라이버시, SMC)은 무엇입니까?
• RQ5 공통 API를 통해 서로 다른 ML 라이브러리를 지원하여 연합 설정에서 다양한 모델 유형을 학습시키려면 어떻게 해야 합니까?

주요 결과

• 집계기와 파티 스택 간의 관심사 분리를 명확히 하는 모듈식 IBM Federated Learning 아키텍처를 정의합니다.
• Dedicated FusionHandler 및 LocalTrainingHandler 쌍을 통해 신경망과 의사결정 트리를 통합하는 방법을 보여줍니다.
• 공통 FLModel 인터페이스를 통해 다수의 ML 라이브러리와의 통합을 시연하고, Keras 및 Scikit-learn과 같은 모델 재사용을 가능하게 합니다.
• 차등 프라이버시 및 안전한 다자간 계산과 같은 프라이버시 보호 기술을 프레임워크 내에서 지원하는 방식을 개략적으로 제시합니다.
• 네트워크, 보안 및 운영적 탄력성 등을 포함한 엔터프라이즈 및 멀티-클라우드 환경에서의 배포를 위한 실제적 고려사항을 식별합니다.