[논문 리뷰] A Marketplace for Trading AI Models based on Blockchain and Incentives for IoT Data

Lam Duc Nguyen, Shashi Raj Pandey외 3명|arXiv (Cornell University)|2021. 12. 06.

Blockchain Technology Applications and Security인용 수 16

한 줄 요약

이 논문은 블록체인 기반의 마켓플레이스를 제안하며, IoT 기기들이 로컬 데이터 기여를 통해 모델 품질을 향상시키고, 이를 통해 분산된 데이터 셰플리 값(DSV)으로 측정된 기여도에 따라 인센티브를 수령하는 피어 투 피어 환경에서 AI 모델을 거래할 수 있도록 한다. 이 시스템은 분산 레거시 기술을 통해 신뢰성과 공정성을 확보하며, 실행 비용을 15% 감소시킨다.

ABSTRACT

As Machine Learning (ML) models are becoming increasingly complex, one of the central challenges is their deployment at scale, such that companies and organizations can create value through Artificial Intelligence (AI). An emerging paradigm in ML is a federated approach where the learning model is delivered to a group of heterogeneous agents partially, allowing agents to train the model locally with their own data. However, the problem of valuation of models, as well the questions of incentives for collaborative training and trading of data/models, have received limited treatment in the literature. In this paper, a new ecosystem of ML model trading over a trusted Blockchain-based network is proposed. The buyer can acquire the model of interest from the ML market, and interested sellers spend local computations on their data to enhance that model's quality. In doing so, the proportional relation between the local data and the quality of trained models is considered, and the valuations of seller's data in training the models are estimated through the distributed Data Shapley Value (DSV). At the same time, the trustworthiness of the entire trading process is provided by the distributed Ledger Technology (DLT). Extensive experimental evaluation of the proposed approach shows a competitive run-time performance, with a 15\% drop in the cost of execution, and fairness in terms of incentives for the participants.

연구 동기 및 목표

• AI 모델과 IoT 데이터 거래를 위한 확장 가능하고, 개인정보 보호 기능이 있으며, 인센티브 호환성이 보장된 메커니즘이 부족한 문제를 해결하기 위해.
• 분산 환경에서 확장된 데이터 셰플리 값(DSV)을 활용해 피어 투 피어 학습 환경에서 데이터 기여도를 공정하게 평가하기 위해.
• 블록체인과 스마트 컨트랙트를 활용해 모델 거래 및 인센티브 배분을 위한 탈중앙화되고 신뢰할 수 없는 마켓플레이스를 설계하기 위해.
• 모델 훈련 및 데이터 교환 과정에서 단일 장애 지점의 제거와 개인정보 보호를 보장하기 위해.
• 실제 IoT 환경에서의 시스템 성능, 공정성 및 비용 효율성에 대한 경험적 평가를 수행하기 위해.

제안 방법

• 시스템은 블록체인 기반의 분산 레거시를 사용하여 모델 거래, 데이터 기여, 인센티브 지급 기록을 기록함으로써 투명성과 불변성을 확보한다.
• 피어 투 피어 학습 환경에서 각 IoT 기기의 모델 향상에 기여한 정도를 공정하게 측정하기 위해 수정된 데이터 셰플리 값(DSV)을 제안한다.
• 참가자(즉, IoT 기기들)는 개인 데이터를 로컬에서 모델을 훈련하고, 업데이트된 모델 가중치를 마켓플레이스 집계자에게 제출한다.
• 이더리움 블록체인 상의 스마트 컨트랙트가 인센티브 메커니즘을 자동화하며, 계산된 DSV 값에 기반해 보상을 분배한다.
• 악성 행동을 방지하고 데이터 품질을 확보하기 위해 신뢰도 메커니즘을 통합한다.
• 동적 모델 업데이트를 지원하며, IoT 기기들 간의 이질적인 데이터 분포를 처리할 수 있다.

실험 결과

연구 질문

• RQ1 신뢰성, 투명성, 공정성을 확보하면서도 모델 및 데이터 교환에 적합한 탈중앙화된 AI 모델 거래 마켓플레이스를 어떻게 설계할 수 있는가?
• RQ2 원시 데이터 폭로 없이도 피어 투 피어 학습 환경에서 IoT 기기들의 기여도를 공정하게 평가하고 인센티브를 제공할 수 있는 효과적인 방법은 무엇인가?
• RQ3 제안된 DSV 기반 인센티브 메커니즘은 기존 방법 대비 런타임 효율성과 비용 절감 측면에서 어떻게 비교되는가?
• RQ4 블록체인과 피어 투 피어 학습의 통합은 단일 장애 지점 및 개인정보 유출 위험을 완화할 수 있는가?
• RQ5 데이터 품질과 분포의 이질성은 제안된 시스템에서 모델 성능과 인센티브 공정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 시스템은 기준 방법 대비 실행 비용을 15% 감소시켜 효율성 향상을 입증했다.
• DSV 기반 인센티브 메커니즘이 보상의 공정한 분배를 보장하였으며, 참가자들은 자신의 데이터 기여도에 비례해 보상을 수령하였다.
• 노이즈가 많은 데이터 환경에서는 Multi-Cal 방법이 다른 방법들보다 약 10% 높은 런타임 성능과 15% 높은 최대 차이 값(D_max)을 기록하여 뛰어난 성능을 보였다.
• 다양한 데이터 분포 환경에서도 높은 성능을 유지하였으며, 깨끗한 데이터 환경에서는 AFS와 Single-Cal 방법이 뛰어난 성능을 보였다.
• 블록체인과 스마트 컨트랙트의 통합은 종단 간 신뢰성과 감사 가능성을 제공하여 중앙 집중식 집계자에 대한 의존도를 제거했다.
• 실험적 평가를 통해 낮은 DSV 값을 가진 데이터 제거 시 모델 성능 저하가 발생했으며, 이는 DSV 평가 방법의 정확성을 검증하는 데 기여했다.