[논문 리뷰] 2CP: Decentralized Protocols to Transparently Evaluate Contributivity in Blockchain Federated Learning Environments

Harry Cai, Daniel Rueckert외 1명|arXiv (Cornell University)|2020. 11. 15.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 10

한 줄 요약

이 논문은 블록체인 통합 피어드 학습에서 참가자의 데이터 기여도에 따라 공정하게 평가하고 보상하는 데 중점을 두어 이더리움 스마트 컨tracts를 사용하는 탈중앙화된 프레임워크 2CP를 제안한다. 이는 참여자 간의 모델 소유권 비율을 데이터셋 크기와 품질에 비례하게 할당하기 위해 단계적 평가를 사용하는 두 가지 프로토콜—Crowdsource 및 Consortium—을 도입한다. 이는 중앙 기관이 없더라도 공정하고 투명하며 신뢰할 수 없는 보상 분배를 보장한다.

ABSTRACT

Federated Learning harnesses data from multiple sources to build a single model. While the initial model might belong solely to the actor bringing it to the network for training, determining the ownership of the trained model resulting from Federated Learning remains an open question. In this paper we explore how Blockchains (in particular Ethereum) can be used to determine the evolving ownership of a model trained with Federated Learning. Firstly, we use the step-by-step evaluation metric to assess the relative contributivities of participants in a Federated Learning process. Next, we introduce 2CP, a framework comprising two novel protocols for Blockchained Federated Learning, which both reward contributors with shares in the final model based on their relative contributivity. The Crowdsource Protocol allows an actor to bring a model forward for training, and use their own data to evaluate the contributions made to it. Potential trainers are guaranteed a fair share of the resulting model, even in a trustless setting. The Consortium Protocol gives trainers the same guarantee even when no party owns the initial model and no evaluator is available. We conduct experiments with the MNIST dataset that reveal sound contributivity scores resulting from both Protocols by rewarding larger datasets with greater shares in the model. Our experiments also showed the necessity to pair 2CP with a robust model aggregation mechanism to discard low quality inputs coming from model poisoning attacks.

연구 동기 및 목표

• 신뢰할 수 없거나 중앙 집중적으로 검증할 수 없는 데이터 기여자들이 있는 피어드 학습 환경에서 공정한 모델 소유권 할당 문제를 해결하기 위해.
• 실제 데이터 기여도에 기반해 참가자를 공정하게 보상하는 탈중앙화되고 신뢰할 수 없는 프로토콜을 설계하기 위해.
• 특히 이더리움을 활용해 블록체인 기술을 피어드 학습과 통합하여 검증 가능하고 투명하며 자동화된 보상 분배를 가능하게 하기 위해.
• 모델 오염 공격과 데이터 품질 변동 상황에서 기여도 평가의 강건성을 평가하기 위해.
• 중앙 조정자가 필요 없는 환경에서 피어드 학습의 캄프소스 및 콈소르티엄 설정을 모두 지원하는 프레임워크를 개발하기 위해.

제안 방법

• 논문은 각 참가자의 모델 성능에 대한 상대적 기여도를 측정하기 위해 기여도 평가 지표로 단계적 평가를 도입한다.
• Crowdsource 프로토콜은 모델 소유자가 학습을 시작하고 자신의 데이터를 사용해 기여도를 평가함으로써 신뢰할 수 없는 환경에서도 공정한 보상 분배를 보장한다.
• Consortium 프로토콜은 모델 소유자나 평가자가 없이도 탈중앙화된 학습을 가능하게 하며, 블록체인 기반 스마트 컨트랙트를 통해 기여도에 비례한 공정한 소유권 비율을 보장한다.
• 두 프로토콜 모두 계산된 기여도 점수에 기반해 보상 할당을 강제하는 이더리움 스마트 컨트랙트를 사용하여 투명성과 불변성을 확보한다.
• 시스템은 매 라운드 이후 모델 성능을 평가하기 위해 할로우트 테스트 세트에 의존하며, 이는 동적 기여도 평가 점수를 가능하게 한다.
• 실험적 검증을 통해 모델 오염 공격에 저항하기 위해 강력한 집계 메커니즘과 함께 사용될 수 있도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 비밀 데이터를 폭 듬 없이 탈중앙화된 피어드 학습 환경에서 기여도를 공정하고 투명하게 측정할 수 있는 방법은 무엇인가?
• RQ2 블록체인 기반 스마트 컨트랙트를 사용해 피어드 학습에서 데이터 기여도에 기반해 자동으로 공정한 보상 분배를 이행할 수 있는가?
• RQ3 Crowdsource 및 Consortium 프로토콜은 데이터 품질 변동에 대해 공정성과 내성 면에서 어떻게 비교될 수 있는가?
• RQ4 모델 오염 공격 하에서 기여도 평가 메커니즘의 취약점은 무엇이며, 이를 어떻게 보완할 수 있는가?
• RQ5 데이터셋 크기와 품질이 2CP 프레임워크에서 최종 보상 분배에 얼마나 영향을 미치는가?

주요 결과

• Crowdsource 프로토콜은 MNIST 데이터셋에서 타당한 기여도 점수를 생성했으며, 더 큰 데이터셋은 비례적으로 더 높은 보상을 받았다.
• Consortium 프로토콜은 더 큰 데이터셋에 대해 정확히 보상했지만, 약간 오염된 데이터를 가진 클라이언트(0.2 < p < 0.3)의 기여도를 과대 평가했다. 이는 비표적 모델 오염에 대한 취약성을 시사한다.
• 라벨 뒤집기 비율이 높은 클라이언트(p > 0.5)는 보상이 0으로 떨어졌고, 중간 정도의 오염(p ≈ 0.25)은 보상을 과대 평가하는 결과를 낳았으며, 이는 시빌 공격 유사한 공격 벡터를 시사한다.
• Consortium 프로토콜의 초기 학습 라운드에서 토큰 할당 비율이 Crowdsource 프로토콜과 일치했으며, 이는 오염된 클라이언트가 모델을 부분 최적화된 국소 최소값으로 유도했다는 가설을 지지한다.
• 결과는 2CP를 악성 또는 저품질 모델 업데이트를 걸러내는 강력한 집계 메커니즘과 함께 사용해야 한다는 필요성을 강조한다.
• 프레임워크는 기여도 기반 보상 할당이 정직하거나 반정직한 참여 조건에서는 실현 가능하고 공정하다는 것을 입증하지만, 추가 검증이 없이 악성 행동에 취약하다는 점을 드러낸다.