[논문 리뷰] Scatterbrained: A flexible and expandable pattern for decentralized machine learning

Miller Wilt, Jordan Matelsky외 1명|arXiv (Cornell University)|2021. 12. 14.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

Scatterbrained는 모델 학습과 네트워크 통신을 분리하여 동적 컴퓨팅 그래프 토폴로지, 구성 가능한 노드 수준의 파라미터 공유(예: 시딩, 리칭, 피어링), 노드 장애 지원이 가능한 유연하고 파이토치 호환성 있는 분산형 플랫폼을 제공한다. 주요 기여는 어떤 기계학습 모델이라도 수정 없이 통합할 수 있도록 하는 모듈식이고 확장 가능한 아키텍처를 제공하며, 커뮤니티의 도입과 실험을 위해 오픈소스로 제공된다.

ABSTRACT

Federated machine learning is a technique for training a model across multiple devices without exchanging data between them. Because data remains local to each compute node, federated learning is well-suited for use-cases in fields where data is carefully controlled, such as medicine, or in domains with bandwidth constraints. One weakness of this approach is that most federated learning tools rely upon a central server to perform workload delegation and to produce a single shared model. Here, we suggest a flexible framework for decentralizing the federated learning pattern, and provide an open-source, reference implementation compatible with PyTorch.

연구 동기 및 목표

• 기존의 중앙 집중형 서버 의존성에 기인한 제약을 해결하기 위해, 특히 동적인 또는 신뢰할 수 없는 네트워크 환경에서의 문제를 해결한다.
• 개발자가 기계학습 모델의 기초 코드를 수정하지 않고도 사용자 정의된 컴퓨팅 그래프 토폴로지와 노드 통신 행동(예: 시딩, 리칭)을 정의할 수 있도록 한다.
• 기계학습 모델과 통신 프레임워크를 분리하여, 모델에 종속되지 않는 운영 방식과 개선된 코드 모듈화를 보장한다.
• 단일 확장 가능한 소프트웨어 프레임워크 내에서 중심화된 학습 패턴과 분산형 학습 패턴을 모두 지원한다.
• 새로운 분산형 플래거레이티드 학습 알고리즘에 대한 실험 접근 장벽을 낮추기 위해 기준 구현을 제공한다.

제안 방법

• 기계학습 모델이 네트워킹 및 가중치 조합 로직에서 분리된 '플러그인' 모듈로 封장되는 플러그인 아키텍처를 도입한다.
• 고수준의 상태 없는 네트워킹 API는 통신을 추상화하여, 노드가 최소한의 코드로(예: 피어의 네임스페이스 참조) 분산 커뮤니티에 참여할 수 있도록 한다.
• 컴퓨팅 그래프 토폴로지는 사용자가 정의하며, 중심화된 구조에서 완전히 연결된 구조 또는 사용자 정의 구성까지 다양하게 설정 가능하여 다양한 배포 시나리오를 지원한다.
• 노드 역할이 명시적으로 모델링되어 있으며, 시딩(전송 전용), 리칭(수신 전용), 피어링(양방향), 차단(통신 없음) 등으로 정의되어, 다양한 사용 사례에 맞는 데이터 공유 정책을 지원한다.
• 새로운 노드가 '리칭' 모드에서 피어로부터 모델을 다운로드함으로써 동적으로 노드가 참여하거나 장애 발생 시 탈퇴할 수 있도록 지원하며, 로컬 모델 저장소가 필요하지 않다.
• 모든 통신은 모델과 독립적으로 작동하는 네트워킹 레이어를 통해 관리되어, 학습 로직이 수정되지 않고 이식 가능하게 유지된다.

실험 결과

연구 질문

• RQ1 어떻게 기계학습 모델의 제약 없이 사용자 정의된 임의의 컴퓨팅 그래프 토폴로지를 지원할 수 있는 플래거레이티드 학습 프레임워크를 설계할 수 있는가?
• RQ2 어떤 아키텍처 패턴이 분산 학습 환경에서 구성 가능한 노드 수준의 파라미터 공유(예: 전송 전용, 수신 전용, 양방향)를 가능하게 하는가?
• RQ3 신뢰할 수 없는 연결 환경, 노드 장애, 간헐적인 통신 상황에서도 플래거레이티드 학습 시스템이 효과적으로 작동할 수 있는가?
• RQ4 분산 환경에서 기계학습 모델을 통신 및 조율 로직에서 얼마나 분리할 수 있는가?
• RQ5 일반 목적의 프레임워크는 어떻게 중심화된 학습 패턴과 분산형 학습 패턴을 원활하게 지원할 수 있는가?

주요 결과

• Scatterbrained는 모델 학습과 네트워크 통신을 성공적으로 분리하여, 프레임워크의 핵심 로직을 수정하지 않고도 어떤 파이토치 호환 모델이라도 사용할 수 있도록 한다.
• 신규 노드는 '리칭' 모드에서 피어로부터 모델을 다운로드함으로써 분산 커뮤니티에 참여할 수 있으며, 시작 시 로컬 모델 저장소가 필요하지 않다.
• 시스템은 중심화된, 완전히 연결된, 사용자 정의된 구성 등 다양한 컴퓨팅 그래프 토폴로지를 지원하며, 구성 가능한 노드 역할을 통해 이를 입증한다.
• 프레임워크의 모듈식 설계 덕분에 개발자는 시딩, 피어링 등의 노드 수준의 통신 행동을 조정 가능한 파라미터로 정의할 수 있어, 다양한 사용 사례에 유연성을 제공한다.
• 깃허브에 공개된 오픈소스 구현은 커뮤니티의 도입과 새로운 분산형 플래거레이티드 학습 알고리즘의 빠른 프로토타이핑을 가능하게 한다.
• 선택적 연결 및 비대칭 가중치 공유를 허용함으로써 아키텍처가 데이터 泄露 위험을 줄여, 역공학 공격의 표면을 최소화한다.