[논문 리뷰] Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients

Jun Li, Yumeng Shao외 5명|arXiv (Cornell University)|2020. 12. 02.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 5

한 줄 요약

이 논문은 클라이언트가 학습과 채굴을 모두 수행하는 블록체인 기반의 분산형 피어 투 피어 연합 학습 프레임워크인 BLADE-FL을 제안한다. 중앙 집중형 서버에 의존하지 않으며, 게으른 클라이언트가 모델을 복사하고 노이즈를 주입함으로써 학습 책임을 회피하는 상황을 고려하여 손실 함수에 대한 이론적 분석과 최적화를 수행한다. 총 블록 수 $K$에 대해 볼록성을 증명하고, 손실을 최소화하고 정확도를 극대화하는 최적의 $K$를 유도한다. 이는 MNIST 및 Fashion-MNIST 데이터셋에서 일관된 실험 결과로 검증되었다.

ABSTRACT

Federated learning (FL), as a distributed machine learning approach, has drawn a great amount of attention in recent years. FL shows an inherent advantage in privacy preservation, since users' raw data are processed locally. However, it relies on a centralized server to perform model aggregation. Therefore, FL is vulnerable to server malfunctions and external attacks. In this paper, we propose a novel framework by integrating blockchain into FL, namely, blockchain assisted decentralized federated learning (BLADE-FL), to enhance the security of FL. The proposed BLADE-FL has a good performance in terms of privacy preservation, tamper resistance, and effective cooperation of learning. However, it gives rise to a new problem of training deficiency, caused by lazy clients who plagiarize others' trained models and add artificial noises to conceal their cheating behaviors. To be specific, we first develop a convergence bound of the loss function with the presence of lazy clients and prove that it is convex with respect to the total number of generated blocks $K$. Then, we solve the convex problem by optimizing $K$ to minimize the loss function. Furthermore, we discover the relationship between the optimal $K$, the number of lazy clients, and the power of artificial noises used by lazy clients. We conduct extensive experiments to evaluate the performance of the proposed framework using the MNIST and Fashion-MNIST datasets. Our analytical results are shown to be consistent with the experimental results. In addition, the derived optimal $K$ achieves the minimum value of loss function, and in turn the optimal accuracy performance.

연구 동기 및 목표

• 중앙 집중형 연합 학습의 단일 장애 지점 취약성을 제거하기 위해 중앙 서버를 블록체인 기반의 분산 아키텍처로 대체한다.
• 모델을 복사하고 인위적 노이즈를 주입하여 학습 책임을 회피하는 게으른 클라이언트의 영향을 조사한다.
• 게으른 클라이언트 존재 조건 하에서 손실 함수의 수렴 한계를 이론적으로 유도하고, 총 생성 블록 수 $K$에 대해 볼록성을 증명한다.
• 게으른 클라이언트 수와 노이즈 수준이 다양할 경우 손실 함수를 최소화하고 최적의 학습 성능를 달성하기 위해 $K$를 최적화한다.
• MNIST 및 Fashion-MNIST 데이터셋을 사용하여 이론적 결과를 실험적으로 검증하고, 이론과 실무 간의 일관성을 입증한다.

제안 방법

• 모든 클라이언트가 모델 학습과 블록 생성을 동시에 수행하도록 블록체인을 연합 학습에 통합하여 중앙 서버가 필요 없도록 한다.
• 모든 클라이언트가 동일한 시간 할당을 따르는 동기화 프레임워크로 시스템을 모델링한다.
• 게으운 클라이언트 존재를 고려한 손실 함수 상한을 유도하고, 총 생성 블록 수 $K$에 대해 볼록성을 증명한다.
• 게으운 클라이언트 수와 노이즈 분산을 고려하여 $K$의 최적 선택을 통해 손실 함수를 최소화하는 볼록 최적화 문제를 해결한다.
• 인위적 노이즈를 제어 가능한 분산으로 설정하여 게으른 클라이언트의 침투적인 위반 행동을 시뮬레이션하고, 그 영향을 분석한다.
• MNIST 및 Fashion-MNIST 데이터셋을 사용하여 게으른 클라이언트 비율과 노이즈 수준이 다양할 경우 성능을 평가하고, 이론적 예측과 실험 결과를 비교한다.

실험 결과

연구 질문

• RQ1 모델을 복사하고 인위적 노이즈를 주입함으로써 학습 책임을 회피하는 게으른 클라이언트가 존재할 경우, 블록체인 기반의 연합 학습 시스템의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ2 BLADE-FL에서 게으른 클라이언트를 고려한 손실 함수에 대해 총 생성 블록 수 $K$에 대해 볼록성을 보장하는 이론적 상한을 도출할 수 있는가?
• RQ3 손실 함수를 최소화하는 데 최적의 블록 수 $K$는 무엇이며, 게으른 클라이언트 수와 노이즈 분산에 따라 어떻게 변화하는가?
• RQ4 실제 연합 학습 환경에서 표준 데이터셋을 사용할 경우, 이론적 예측된 최적의 $K$는 경험적 결과와 어떻게 비교되는가?
• RQ5 최적의 $K$, 게으른 클라이언트 수, 그리고 위반 행동를 숨기기 위해 사용된 인위적 노이즈의 세기 사이의 관계는 무엇인가?

주요 결과

• BLADE-FL에서 손실 함수의 상한이 총 생성 블록 수 $K$에 대해 볼록함을 증명하여 효과적인 최적화가 가능하다.
• 게으운 클라이언트 수가 증가할수록 손실 함수를 최소화하는 최적의 $K$가 감소함을 확인하여, 학습에 더 많은 계산 자원을 재할당할 필요가 있음을 시사한다.
• 노이즈 분산이 증가할수록 최적의 $K$가 감소함을 확인하여, 높은 노이즈 수준에서는 성능 유지에 더 많은 학습 노력이 필요함을 보여준다.
• MNIST에서 게으른 클라이언트가 없을 경우($M=0$), 최적의 $K$는 7이며, $M=6$(30% 비율)일 경우 5로 감소하여 명확한 반비례 관계를 보인다.
• Fashion-MNIST에서도 동일한 최적의 $K$ 변화 추세를 관찰하여, 이론적 모델이 다양한 데이터셋에 일반화됨을 확인한다.
• 실험 결과는 유도된 최적의 $K$가 최소 손실과 최대 정확도를 달성함을 확인하여 이론적 분석을 실험적으로 검증한다.