[논문 리뷰] FedCoin: A Peer-to-Peer Payment System for Federated Learning

Yuan Liu, Shuai Sun외 4명|arXiv (Cornell University)|2020. 02. 26.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 22

한 줄 요약

FedCoin는 피어 투 피어 결제 시스템을 기반으로 한 블록체인 기반 연합학습(FL) 시스템으로, 클라이언트에게 공정한 인cent라이브를 제공하기 위해 새로운 Proof of Shapley (PoSap) 합의 프로토콜을 사용한다. 이 프로토콜은 Shapley 값(SVs)을 계산하고 분배하여 공정한 인센티브를 제공한다. 분산된 계산 자원을 활용해 자원 비용이 제한된 상태에서 SVs를 계산함으로써, FedCoin는 탈중앙화되고 위장 불가능하며 비부인 가능성이 보장된 인센티브 분배를 가능하게 하여 높은 품질의 데이터 기여를 장려하고, 데이터를 소유하지 않은 기관의 참여도 가능하게 한다.

ABSTRACT

Federated learning (FL) is an emerging collaborative machine learning method to train models on distributed datasets with privacy concerns. To properly incentivize data owners to contribute their efforts, Shapley Value (SV) is often adopted to fairly assess their contribution. However, the calculation of SV is time-consuming and computationally costly. In this paper, we propose FedCoin, a blockchain-based peer-to-peer payment system for FL to enable a feasible SV based profit distribution. In FedCoin, blockchain consensus entities calculate SVs and a new block is created based on the proof of Shapley (PoSap) protocol. It is in contrast to the popular BitCoin network where consensus entities "mine" new blocks by solving meaningless puzzles. Based on the computed SVs, a scheme for dividing the incentive payoffs among FL clients with nonrepudiation and tamper-resistance properties is proposed. Experimental results based on real-world data show that FedCoin can promote high-quality data from FL clients through accurately computing SVs with an upper bound on the computational resources required for reaching consensus. It opens opportunities for non-data owners to play a role in FL.

연구 동기 및 목표

• 연합학습(FL)에서 공정한 인센티브 분배를 위한 Shapley 값(SVs) 계산의 높은 계산 비용을 해결하기 위한 것이다.
• 중앙 서버에 의존하지 않고도 탈중앙화되고 신뢰할 수 없으며 위장에 강한 방식으로 FL 클라이언트에게 인센티브를 분배할 수 있도록 하기 위한 것이다.
• FL 생태계 내의 비활성 계산 자원을 활용해 SV 계산을 수행함으로써, 데이터를 소유하지 않은 기관의 참여를 촉진하기 위한 것이다.
• 기존의 작업 증명 기반 합의 방식을 대체할 수 있는 의미 있는 계산 기반의 합의 메커니즘인 Proof of Shapley (PoSap)를 설계하기 위한 것이다.
• 합의의 계산 비용이 증가하는 마이닝 난이도 조건에서도 여전히 제한되고 실현 가능한 수준을 유지할 수 있도록 보장하기 위한 것이다.

제안 방법

• 암호학적 퍼즐을 푸는 대신 FL 클라이언트의 Shapley 값(SVs)을 계산하는 방식으로, Proof of Shapley (PoSap) 합의 프로토콜을 도입한다.
• 각 합의 노드는 계산 복잡도를 줄이기 위해 그룹 샘플링 기반의 근사 방법을 사용하여 독립적으로 SV 계산을 수행한다.
• PoSap 프로토콜을 통해 모든 FL 클라이언트의 SVs를 성공적으로 계산하고 검증한 후에만 새로운 블록이 생성된다.
• 지불 내역은 블록체인에 불변적이고 암호학적으로 보호된 방식으로 기록되어, 비부인 가능성과 위장에 대한 저항성을 확보한다.
• PoSap에서 난이도 파rameter를 사용해 블록 생성 시간을 조절하며, 고난이도 조건에서 계산 비용은 약 2,500회 이내로 상한선이 설정된다.
• 프레임워크는 도커 컨테이너를 사용해 구현되었으며, 시뮬레이션 환경에서 합의 노드 간의 독립적 통신과 조율를 가능하게 한다.

실험 결과

연구 질문

• RQ1 계산 비용이 제한된 조건에서 블록체인 기반의 시스템이 연합학습에서 Shapley 값(SVs)을 계산할 수 있는가?
• RQ2 기존 작업 증명 방식처럼 낭비적인 계산이 아닌, 의미 있는 계산을 수행하여 인센티브 공정성에 기여하는 합의 프로토콜을 어떻게 설계할 수 있는가?
• RQ3 제안된 PoSap 프로토콜이 높은 품질의 데이터 기여자에게만 긍정적인 인센티브를 제공하고, 저품질 또는 해로운 데이터 기여자는 배제할 수 있는가?
• RQ4 시스템의 계산 비용이 마이닝 난이도 증가에 따라 어떻게 증가하는가? 그리고 현실적인 조건에서 여전히 제한되어 있는가?
• RQ5 계산 능력은 있지만 데이터를 소유하지 않은 기관이 이 인센티브 메커니즘을 통해 연합학습 생태계에 의미 있는 기여를 할 수 있는가?

주요 결과

• FedCoin는 FL 클라이언트의 Shapley 값(SVs)을 정확하게 계산하며, 결과적으로 $T_0$에서 $T_4$까지의 데이터 유형을 가진 클라이언트들만 양의 SVs를 가지며, 이는 모델 정확도 향상에 기여함을 시사한다.
• 낮은 데이터 품질을 가진 클라이언트들(예: $T_5$에서 $T_9$)은 음수의 SVs를 부여받으며, 이는 모델 성능 저하를 의미하고, 따라서 인센티브에서 제외됨을 나타낸다.
• 고난이도 조건($D < 10^{-3}$)에서 FedCoin의 블록 생성 시간은 약 2,500회의 Shapley 계산 반복 수준으로 수렴하여, 계산 비용이 제한되고 실현 가능한 합의 비용임을 입증한다.
• Earth Mover’s Distance로 측정된 데이터 품질이 $T_0$에서 $T_9$로 향해 선형 감소함에 따라 SVs도 감소하는 것으로 나타나, 이는 높은 품질의 데이터 기여가 촉진됨을 뒷받침한다.
• PoSap 프로토콜은 유효하고 검증된 SV 계산 결과만이 블록 생성을 가능하게 하여 시스템의 무결성을 유지하고, 탈중앙화되고 신뢰할 수 없는 인센티브 분배를 가능하게 한다.
• 저자들의 지식에 비추어 볼 때, FedCoin는 블록체인 기술과 Shapley 값 기반 인센티브 메커니즘을 연합학습에 통합한 최초의 시스템으로, 데이터를 소유하지 않은 계산 기여자들의 참여를 가능하게 한다.