[논문 리뷰] FedToken: Tokenized Incentives for Data Contribution in Federated Learning

Shashi Raj Pandey, Lam Duc Nguyen외 1명|arXiv (Cornell University)|2022. 09. 20.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FedToken은 블록체인 기반의 기여 기반 토큰 인cent리브 체계를 제안하여 연합 학습에서 클라이언트의 데이터 기여도에 따라 공정하게 토큰을 할당한다. 이는 샤플리 값 근사치를 사용해 각 클라이언트의 데이터 기여도를 평가하며, 고정된 예산 내에서 품질 높은 업데이트를 전략적으로 선택하여 통신 효율성과 모델 수렴 속도를 향상시킨다. FedFomo 대비 평균 29.47%의 오버헤드 감소를 기록했고, 저예산 조건에서 최대 12.5% 높은 테스트 정확도를 달성한다.

ABSTRACT

Incentives that compensate for the involved costs in the decentralized training of a Federated Learning (FL) model act as a key stimulus for clients' long-term participation. However, it is challenging to convince clients for quality participation in FL due to the absence of: (i) full information on the client's data quality and properties; (ii) the value of client's data contributions; and (iii) the trusted mechanism for monetary incentive offers. This often leads to poor efficiency in training and communication. While several works focus on strategic incentive designs and client selection to overcome this problem, there is a major knowledge gap in terms of an overall design tailored to the foreseen digital economy, including Web 3.0, while simultaneously meeting the learning objectives. To address this gap, we propose a contribution-based tokenized incentive scheme, namely exttt{FedToken}, backed by blockchain technology that ensures fair allocation of tokens amongst the clients that corresponds to the valuation of their data during model training. Leveraging the engineered Shapley-based scheme, we first approximate the contribution of local models during model aggregation, then strategically schedule clients lowering the communication rounds for convergence and anchor ways to allocate \emph{affordable} tokens under a constrained monetary budget. Extensive simulations demonstrate the efficacy of our proposed method.

연구 동기 및 목표

• 분산형 연합 학습(FL) 시스템에서 클라이언트 참여를 위한 공정하고 투명하며 신뢰할 수 있는 인센티브 체계의 부재 문제를 해결하기 위해.
• 클라이언트의 로컬 모델 업데이트가 글로벌 모델 성능에 기여하는 실제 영향을 정량화하고 보상하기 위해.
• 모델 집계 과정에서 고가치 클라이언트를 전략적으로 선택하여 통신 효율성을 향상시키고, 부득이한 학습 라운드를 줄이기 위해.
• 시간에 따른 할인과 토큰 기반 제재를 통해 무료 라이더 및 저품질 업데이트에 대한 저항력을 확보하기 위해.
• 웹3.0 및 블록체인 네이티브 연합 학습 생태계에 토큰 기반 인센티브를 통합하여 확장 가능하고 신뢰할 수 없는 데이터 기여를 가능하게 하기 위해.

제안 방법

• 집계 과정에서 각 클라이언트의 로컬 모델 업데이트가 글로벌 모델 성능에 기여하는 마진널 기여도를 샤플리 값 근사치를 통해 추정한다.
• 기여도에 기반해 보상을 분배하는 토큰 할당 메커니즘을 설계하며, 각 라운드당 고정된 금액 예산인 할당량 $|\mathcal{Q}|$ 으로 표현된다.
• 시간에 따른 할인을 적용하여 저품질 또는 오래된 업데이트의 토큰 보상을 감소시켜 무료 라이딩을 방지한다.
• 블록체인 기술을 활용해 모든 토큰 거래를 불변성 있게 기록함으로써 기여도와 보상의 투명성과 감사 가능성을 확보한다.
• 고기여 업데이트를 우선시하는 전략적 클라이언트 선택을 통해 통신 횟수와 오버헤드를 최소화한다.
• PF(비례 자금 지원) 및 EP(동등한 참여) 두 가지 인센티브 체계를 지원하며, 다양한 예산 및 할당량 제약 조건 하에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 연합 학습에서 클라이언트의 기여를 실제 모델 성능에 미치는 영향에 기반해 어떻게 공정하게 정량화하고 인센티브를 부여할 수 있는가?
• RQ2 고정된 예산 내에서 모델 집계 과정에서 클라이언트를 최적의 전략으로 선택할 경우 통신 효율성을 극대화하면서도 어떤 전략이 가장 효과적인가?
• RQ3 블록체인 기술을 어떻게 활용해 분산형 FL 환경에서 투명하고 신뢰할 수 있는 인센티브 배분 메커니즘을 구축할 수 있는가?
• RQ4 시간에 따른 할인은 저품질 또는 지연된 업데이트를 억제하는 데 어떤 영향을 미치는가?
• RQ5 제안된 토큰 기반 인센티브 체계는 기준선 FL 방법에 비해 수렴 속도, 정확도, 통신 오버헤드 측면에서 어떻게 비교되는가?

주요 결과

• 할당량 대 모델 크기 비율 $|\mathcal{Q}|/|M|$ 가 0.8 이하일 경우, FedAvg 및 FedFomo 대비 FedToken의 테스트 정확도가 최대 12.5% 향상된다.
• 전략적 클라이언트 선택 덕분에 FedFomo 대비 평균 29.47%, FedAvg 대비 72.76%의 통신 오버헤드 감소가 기록되었다.
• 토큰 보상이 기여 품질과 효과적으로 일치하며, 특히 PF 체계 하에서 고품질 업데이트에 대해 더 높은 보상을 수령하는 경향을 보였다.
• 시간에 따른 할인을 $\zeta^t = 0.7$ 로 설정할 경우, 저품질 또는 오래된 업데이트에 대한 유인은 크게 감소하여 시스템의 강건성이 향상되었다.
• 데이터 품질 악용 공격을 토큰을 차단함으로써 탐지하고 제외하여 예산을 고가치 기여자에게만 유지함으로써 시스템의 안정성을 확보했다.
• 예산 $\mathbb{B} = 1000$ 이 소진된 경우, 테스트 정확도와 통신 라운드 수 사이에 선형 관계가 관찰되어 할당량 제약 조건 하에서 최적의 토큰 활용이 이루어졌음을 입증했다.