[논문 리뷰] When Federated Learning Meets Blockchain: A New Distributed Learning Paradigm

Chuan Ma, Jun Li외 5명|arXiv (Cornell University)|2020. 09. 20.

Privacy-Preserving Technologies in Data인용 수 26

한 줄 요약

이 논문은 블록체인으로 보호된 탈중앙화된 피어드 페더레이티드 러닝 프레임워크인 BLADE-FL을 제안한다. 기존의 페더레이티드 러닝(FL)에서의 단일 장애 지점 문제를 제거하기 위해 모델 집계를 탈중앙화하고, 클라이언트 학습과 블록체인 마이닝을 통합함으로써 중앙 집중형 서버에 의존하지 않으며, 보안성을 향상시키고 오염 공격에 저항하며 인centive 메커니즘을 통해 내성적 복원력을 확보한다. 이로 인해 게으른 클라이언트가 존재하는 상황에서도 최대 18%의 성능 향상을 달성하며, 적응형 차등적 비밀유지 기법을 통해 효과적인 프라이버시 보존 학습이 가능하다.

ABSTRACT

Motivated by the explosive computing capabilities at end user equipments, as well as the growing privacy concerns over sharing sensitive raw data, a new machine learning paradigm, named federated learning (FL) has emerged. By training models locally at each client and aggregating learning models at a central server, FL has the capability to avoid sharing data directly, thereby reducing privacy leakage. However, the traditional FL framework heavily relies on a single central server and may fall apart if such a server behaves maliciously. To address this single point of failure issue, this work investigates a blockchain assisted decentralized FL (BLADE-FL) framework, which can well prevent the malicious clients from poisoning the learning process, and further provides a self-motivated and reliable learning environment for clients. In detail, the model aggregation process is fully decentralized and the tasks of training for FL and mining for blockchain are integrated into each participant. In addition, we investigate the unique issues in this framework and provide analytical and experimental results to shed light on possible solutions.

연구 동기 및 목표

• 기존의 페더레이티드 러닝(FL) 시스템에서 중앙 서버에 대한 단일 신뢰 지점과 의존성 문제를 해결한다.
• 블록체인의 변하지 않는 성질과 감사 가능성 기반으로 FL에서의 프라이버시 위험을 완화하고 모델 오염 공격을 방지한다.
• 학습과 공인 합의를 동시에 기여하는 클라이언트를 인센티브로 유도하여 자율적이고 탈중앙화된 학습 환경을 설계한다.
• BLADE-FL 프레임워크의 핵심 과제인 국소적 차등적 비밀유지, 자원 할당, 게으른 클라이언트 탐지 문제를 분석하고 해결한다.
• 다양한 데이터셋에서 프레임워크의 강건성, 성능 및 확장성을 분석적이고 실험적으로 검증한다.

제안 방법

• 허가 없는 블록체인을 활용해 모델 집계를 탈중앙화하여 중앙 집중형 집계자 대신 분산 합의 메커니즘을 도입한다.
• 클라이언트 학습과 블록체인 마이닝을 하나의 작업으로 통합하여 참가자가 학습과 합의 기여에 대해 보상을 얻을 수 있도록 한다.
• 모델 업데이트에 정규분포 노이즈를 주입하여 국소적 차등적 비밀유지 기법을 적용하고, 프라이버시 제약 조건 하에서 정확도를 향상시키기 위해 적응형 노이즈 감쇠 전략을 도입한다.
• 로컬 학습 에포크 수와 통신 라운드 수의 비율(θ)을 최적화하여 최소한의 학습 손실을 달성하는 최적의 구성 설정을 도출한다.
• 가짜노이즈(PN) 시퀀스 기반 탐지 메커니즘을 구현하여 교차상관관계와 신호 대 잡음비(SNR) 임계값을 활용해 게으른 클라이언트를 탐지하고 영향을 최소화한다.
• 블록체인의 변하지 않는 로그를 활용해 모델 업데이트 및 마이닝 활동을 기록함으로써 추적 가능성, 책임성 및 변조에 대한 저항력을 확보한다.

실험 결과

연구 질문

• RQ1 단일 신뢰할 수 있는 중앙 서버에 의존하지 않는 탈중앙화된 피어드 페더레이티드 러닝 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 탈중앙화된 FL 시스템에서 게으르거나 응답이 없는 클라이언트를 탐지하고 그 영향을 완화하기 위해 어떤 메커니즘이 사용될 수 있는가?
• RQ3 모델 업데이트에 노이즈가 추가될 경우 국소적 차등적 비밀유지가 모델 정확도에 어떤 영향을 미치며, 적응형 노이즈 스케줄링 전략이 성능 향상에 기여할 수 있는가?
• RQ4 다양한 데이터셋에서 학습 손실을 최소화하기 위해 로컬 학습 노력과 통신 라운드 수의 최적의 트레이드오프(θ)는 무엇인가?
• RQ5 FL 학습과 블록체인 마이닝을 통합함으로써 악성 조건 하에서 시스템의 복원성, 보안성 및 성능에 어떤 영향을 미치는가?

주요 결과

• PN 시퀀스의 신호 대 잡음비(SNR)가 3 dB일 경우 게으른 클라이언트 탐지 정확도가 거의 100%에 도달하며, Fashion-MNIST와 Cifar-10에서는 각각 6 dB일 때 98.9%와 97.5%의 탐지율을 기록한다.
• 적응형 노이즈 감쇠 방법은 동일한 프라이버시 예산(ε) 조건 하에서 일정한 노이즈 주입보다 높은 테스트 정확도를 달성하여 학습 성능을 향상시킨다.
• Fashion-MNIST 데이터셋에서 최적의 구성은 통신 라운드 수 14회, 라운드당 15회의 로컬 에포크를 가지며 θ = 1일 때 가장 낮은 학습 손실을 기록한다.
• 30%의 게으른 클라이언트 존재 시 시스템 성능이 Fashion-MNIST 기준 22.1%, Cifar-10 기준 19.6% 감소하지만, PN 기반 탐지 방법을 통해 각각 18%와 13.8%의 성능 손실을 복구한다.
• 더 큰 프라이버시 예산(ε)은 더 높은 모델 정확도로 이어지며, 이는 더 약한 프라이버시 보호 수준이 더 나은 학습 결과를 가능하게 함을 확인한다.
• 프레임워크는 다양한 데이터셋에서 강건성과 확장성을 입증하였으며, 통신 라운드 수, 로컬 학습 노력, 수렴 성능 간 명확한 트레이드오프 관계를 보였다.