[논문 리뷰] BAFFLE : Blockchain Based Aggregator Free Federated Learning

Paritosh Ramanan, Kiyoshi Nakayama|arXiv (Cornell University)|2019. 09. 16.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 23

한 줄 요약

BAFFLE는 블록체인 기반의 중앙집중화된 집계기 없이 스마트 계약을 통해 모델 집계와 라운드 조율을 분산화하는 프레임워크를 제안한다. 전역 모델 파라미터를 조각으로 나누고 스코어 앤 비드 메커니즘을 적용함으로써, 가스 비용을 50% 이상 절감하면서도 중심화된 FL과 유사한 정확도를 달성하여, 사설 또는 공용 블록체인에서 소규모 조직이 확장 가능하고 저비용으로 FL을 구현할 수 있도록 한다.

ABSTRACT

A key aspect of Federated Learning (FL) is the requirement of a centralized aggregator to maintain and update the global model. However, in many cases orchestrating a centralized aggregator might be infeasible due to numerous operational constraints. In this paper, we introduce BAFFLE, an aggregator free, blockchain driven, FL environment that is inherently decentralized. BAFFLE leverages Smart Contracts (SC) to coordinate the round delineation, model aggregation and update tasks in FL. BAFFLE boosts computational performance by decomposing the global parameter space into distinct chunks followed by a score and bid strategy. In order to characterize the performance of BAFFLE, we conduct experiments on a private Ethereum network and use the centralized and aggregator driven methods as our benchmark. We show that BAFFLE significantly reduces the gas costs for FL on the blockchain as compared to a direct adaptation of the aggregator based method. Our results also show that BAFFLE achieves high scalability and computational efficiency while delivering similar accuracy as the benchmark methods.

연구 동기 및 목표

• 소규모 조직에게 특히 적용되는 연합 학습(FL)에서 중심화된 집계기의 운영 및 확장성 한계를 해결하기 위해.
• 중앙집중화된 집계기 모델에 내재된 단일 장애 지점과 신뢰 의존성 문제를 제거하기 위해.
• 거래 크기 및 가스 비용과 같은 블록체인 제약 조건을 고려한 계산 효율성이 높은 분산 FL 프레임워크를 설계하기 위해.
• 클라우드 인프라나 기술 전문 지식 없이도 소규모 기업이 공동으로 강력한 전역 모델을 훈련시킬 수 있도록 하기 위해.
• 집계기 없는 FL이 기존의 FL과 유사한 성능을 달성하면서도 비용을 크게 절감할 수 있음을 입증하기 위해.

제안 방법

• BAFFLE는 중앙 조율자 없이도 전역 모델 상태, 라운드 경계, 사용자 선택을 관리하기 위해 이더리움 스마트 계약(SC)을 활용한다.
• 전역 모델을 이산적인 파라미터 조각으로 나누어 블록체인 상에서 병렬적이고 독립적인 업데이트를 가능하게 한다.
• 성능 지표를 기반으로 고품질의 로컬 모델 업데이트를 스코어 앤 비드 전략으로 선별함으로써, 불필요한 거래와 가스 사용을 최소화한다.
• 사용자가 보고한 계산 상태에 기반해 동적으로 라운드 경계를 결정함으로써 일관성과 공정성을 확보한다.
• 가장 높은 스코어를 받은 조각들에 대해서만 모델 업데이트를 직렬화하고 블록체인에 전송함으로써 거래 수를 줄인다.
• 실제 사례 검증을 위해 실시간 라이드셰어링 환경에서 딥 강화 학습 모델을 사용한 사설 이더리움 네트워크에서 구현하였다.

실험 결과

연구 질문

• RQ1 중앙 집중화된 집계기가 없는 완전히 분산된 연합 학습 시스템을 구축할 수 있을까? 이때도 모델 정확도를 유지할 수 있는가?
• RQ2 블록체인 제약 조건—예를 들어 가스 비용과 거래 크기—를 분산된 FL 환경에서 효과적으로 완화할 수 있는가?
• RQ3 참여자의 참여 수준이 집계기 없는 FL 시스템에서 수렴 속도, 가스 비용, 모델 품질에 어떤 영향을 미치는가?
• RQ4 스마트 계약 기반 접근 방식이 중심화된 집계를 사용하는 전통적 FL과 유사한 성능을 달성할 수 있는가?
• RQ5 스코어 앤 비드 메커니즘이 분산 모델 집계에서 효율성을 향상시키고 불필요한 업데이트를 줄이는 데 어떤 기여를 하는가?

주요 결과

• 낮은 참여 수준 조건에서도 BAFFLE는 무작위 분산 FL 기반선(RandomDFL) 대비 50% 이상의 가스 비용 절감을 달성한다.
• 5%의 참여 수준에서도 BAFFLE는 RandomDFL와 유사한 수렴 속도를 확보하면서도 훨씬 낮은 가스 비용과 전송 시간을 기록한다.
• BAFFLE에서의 모델 품질은 전통적인 중심화된 FL과 매우 유사하여, 집계기 없는 FL이 높은 정확도를 유지할 수 있음을 입증한다.
• 스코어 앤 비드 메커니즘이 효과적으로 불필요한 업데이트를 제거하여 거래 충돌을 줄이고 계산 효율성을 향상시킨다.
• BAFFLE는 클라우드 인프라나 특수 전문 지식 없이도 소규모 기업이 사설 또는 공용 블록체인에서 FL을 구현할 수 있도록 한다.
• 실제 라이드셰어링 사례 연구에서 BAFFLE는 비-FL 기반 접근 방식 대비 기사 수익을 약 40% 향상시켜 실용적 영향을 입증하였다.