[논문 리뷰] Blockchained On-Device Federated Learning

Hyesung Kim, Jihong Park외 2명|arXiv (Cornell University)|2018. 08. 12.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 14

한 줄 요약

이 논문은 블록체인을 사용해 중심 서버를 대체함으로써 안전하고 신뢰할 수 없는 모델 집계 및 인cent라이브드 협업을 가능하게 하는 탈중앙화된 프레임워크인 블록체인 기반 온디바이스 연합 학습(BlockFL)을 제안한다. 블록 생성 속도를 최적화하고 종단 간 지연을 모델링함으로써, 블록체인 기반의 작업 증명(Proof-of-Work)과 보상 메커니즘을 통해 보장되는 보안성과 공정성과 함께, 마이너 장애가 발생하는 상황에서도 기존 연합 학습(FL)보다 낮은 학습 지연을 달성한다.

ABSTRACT

By leveraging blockchain, this letter proposes a blockchained federated learning (BlockFL) architecture where local learning model updates are exchanged and verified. This enables on-device machine learning without any centralized training data or coordination by utilizing a consensus mechanism in blockchain. Moreover, we analyze an end-to-end latency model of BlockFL and characterize the optimal block generation rate by considering communication, computation, and consensus delays.

연구 동기 및 목표

• 중앙 집중형 연합 학습(FL)에서의 단일 장애 지점과 인센티브 부족 문제를 해결하기 위해 중심 서버를 블록체인으로 대체한다.
• 원시 데이터를 공유하지 않고도 온디바이스 머신 러닝을 가능하게 하여 개인정보 보호를 유지하면서도 모델 업데이트를 교환하고 검증할 수 있도록 한다.
• 통신, 계산 및 공인 지연을 모델링하여 탈중앙화된 FL 시스템에서 종단 간 학습 지연을 특성화하고 최소화한다.
• 블록체인의 분산 레거시와 공인 메커니즘을 통해 마이너의 고장이나 악성 행동에 대비한 시스템의 내구성을 확보한다.
• 데이터 기여도에 비례하는 공정한 보상 메커니즘을 설계하여 더 큰 데이터셋을 가진 장치가 참여하도록 유도한다.

제안 방법

• BlockFL 아키텍처는 장치와 마이너로 구성된 네트워크를 사용하며, 장치들은 할당된 마이너에게 로컬 모델 업데이트를 업로드한다.
• 마이너는 모델 업데이트를 검증하고 작업 증명(Proof-of-Work, PoW)을 통해 새로운 블록을 생성하기 위한 경쟁에 참가하며, 이 블록들은 암호학적으로 블록체인에 연결된다.
• 각 장치는 최신 블록에서 로컬로 글로벌 모델 업데이트를 재계산하여 일관성과 개인 장애에 대한 내구성을 확보한다.
• 기다림 시간, 블록 전파 지연, PoW 계산 시간을 조합하여 종단 간 지연 모델을 유도하며, 이때 블록 생성 속도(λ)가 최적화 변수로 사용된다.
• 지연 모델이 λ에 대해 볼록임을 입증함으로써 총 학습 지연을 최소화하는 최적의 블록 생성 속도 λ*를 분석적으로 유도할 수 있다.
• 시스템은 데이터 기여도에 비례하는 보상 메커니즘을 통합하여, 더 큰 데이터셋을 가진 장치의 참여를 유도한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 단일 장애 지점 문제를 해결하면서도 데이터 프라이버시를 유지하는 탈중앙화된 연합 학습을 구현할 수 있는가?
• RQ2 종단 간 학습 지연을 최소화하기 위해 블록체인 기반 연합 학습 시스템에서 최적의 블록 생성 속도는 무엇인가?
• RQ3 고장난 마이너가 존재할 경우 탈중앙화된 FL 환경에서 학습 지연과 모델 무결성에 어떤 영향을 미치는가?
• RQ4 비잔틴 장애에 강건한 블록체인 기반 공인 메커니즘이 기존 FL에 비해 공정성과 보안성 면에서 얼마나 향상되는가?
• RQ5 에너지 제약과 마이너 가용성이 BlockFL 시스템의 확장성과 성능에 어떤 영향을 미치는가?

주요 결과

• 볼록 지연 모델에서 유도된 최적의 블록 생성 속도 λ*는 시뮬레이션 최소값 대비 평균 학습 완료 지연을 최대 1.5% 감소시킨다.
• 여러 마이너를 사용할 경우, 특히 마이너 고故 상황에서 기존 FL(한 명의 마이너)보다 BlockFL이 더 낮은 학습 지연을 달성한다.
• 마이너 수(NM=10)가 클수록 고장 상황에서 장애를 견디는 능력이 향상되어 고장난 마이너는 오직 자신이 할당된 장치들에만 영향을 미친다.
• 시뮬레이션에서 기존 FL(약 95%)과 유사한 테스트 정확도를 유지하면서도 뚜렷한 내구성과 탈중앙화 성능 향상을 달성한다.
• 정직한 다数 조건 하에서 5개의 블록 후에 악성 마이너의 오버take 확률이 10^-6 이하로 떨어지며, 강력한 보안 보장을 입증한다.
• 마이너 참가를 위한 에너지 기준(θe)을 낮추면 고장 상황에서 활성 마이너 수가 증가하여 지연을 감소시키고 시스템의 내구성을 향상시킨다.