[論文レビュー] A Marketplace for Trading AI Models based on Blockchain and Incentives for IoT Data

Lam Duc Nguyen, Shashi Raj Pandey+3 more|arXiv (Cornell University)|Dec 6, 2021

Blockchain Technology Applications and Security被引用数 16

ひとこと要約

本稿では、IoTデバイスがローカルデータを貢献し、モデル品質を向上させるとともに、分散型データシャープリー値（DSV）を用いて貢献度を測定することで報酬を受ける、フェデレーテッドラーニング環境におけるブロックチェーンベースのAIモデル取引市場を提案する。このシステムは分散型台帳技術を活用して信頼性と公平性を確保し、実行コストを15%削減する。

ABSTRACT

As Machine Learning (ML) models are becoming increasingly complex, one of the central challenges is their deployment at scale, such that companies and organizations can create value through Artificial Intelligence (AI). An emerging paradigm in ML is a federated approach where the learning model is delivered to a group of heterogeneous agents partially, allowing agents to train the model locally with their own data. However, the problem of valuation of models, as well the questions of incentives for collaborative training and trading of data/models, have received limited treatment in the literature. In this paper, a new ecosystem of ML model trading over a trusted Blockchain-based network is proposed. The buyer can acquire the model of interest from the ML market, and interested sellers spend local computations on their data to enhance that model's quality. In doing so, the proportional relation between the local data and the quality of trained models is considered, and the valuations of seller's data in training the models are estimated through the distributed Data Shapley Value (DSV). At the same time, the trustworthiness of the entire trading process is provided by the distributed Ledger Technology (DLT). Extensive experimental evaluation of the proposed approach shows a competitive run-time performance, with a 15\% drop in the cost of execution, and fairness in terms of incentives for the participants.

研究の動機と目的

• AIモデルおよびIoTデータの取引に向けたスケーラブルでプライバシーを保護し、インcentiveに整合性を持つメカニズムの欠如に対処すること。
• 分散環境におけるフェデレーテッドラーニングにおいて、拡張されたデータシャープリー値（DSV）を用いてデータ貢献の公平な評価を可能にすること。
• ブロックチェーンとスマートコントラクトを活用した分散型で信頼できない市場を設計し、モデル取引とインcentive配分を実現すること。
• モデル学習およびデータ交換における単一障害点の排除とデータプライバシーの保護を確保すること。
• 実世界のIoTシナリオにおけるシステムの性能、公平性、コスト効率を実証的に評価すること。

提案手法

• システムは、モデル取引、データ貢献、インcentive支払いを記録するブロックチェーンベースの分散型台帳を用い、透明性と改ざん不能性を確保する。
• フェデレーテッドラーニング環境における各IoTデバイスのモデル向上に与える貢献度を公平に測定するため、修正されたデータシャープリー値（DSV）を提案する。
• 参加者（IoTデバイス）は自らのプライベートデータ上でグローバルモデルをローカルに学習し、更新されたモデル重みをマーケットプレイスアグリゲーターに提出する。
• イーサリアムブロックチェーン上のスマートコントラクトがインcentiveメカニズムを自動化し、計算されたDSV値に基づいて報酬を配分する。
• 悪意ある行動を抑制し、データ品質を保証するためのレピュテーションメカニズムを統合する。
• 動的モデル更新をサポートし、IoTデバイス間での異種のデータ分布に対応できる。

実験結果

リサーチクエスチョン

• RQ1 信頼性、透明性、およびモデル・データ交換における公平性を確保する分散型AIモデル取引市場をどのように設計できるか？
• RQ2 生データを暴露せずに、フェデレーテッドラーニングにおけるIoTデバイスの貢献度を公平に評価・インcentivizeする有効な方法は何か？
• RQ3 提案されたDSVベースのインcentiveメカニズムは、既存の方法と比較して実行効率およびコスト削減の点でどのように異なるか？
• RQ4 ブロックチェーンとフェデレーテッドラーニングの統合により、単一障害点のリスクやデータプライバシー違反のリスクを軽減できるか？
• RQ5 データ品質およびデータ分布の不均一性が、提案されたシステムにおけるモデル性能およびインcentive公平性に与える影響は何か？

主な発見

• 提案されたシステムは、ベースライン手法と比較して実行コストを15%削減し、効率性の向上を実証した。
• DSVベースのインcentiveメカニズムにより、報酬が公平に配分され、参加者がデータ貢献度に比例した補償を受け取った。
• ノイズの多いデータのシナリオでは、Multi-Cal法が他の手法を上回り、約10%の高い実行効率と15%高い最大差分値（D_max）を達成した。
• 多様なデータ分布においても、システムは高い性能を維持した。クリーンデータのシナリオではAFSおよびSingle-Calが優れた結果を示した。
• ブロックチェーンとスマートコントラクトの統合により、エンドツーエンドの信頼性と監査可能性が実現され、中央集権的アグリゲーターへの依存が排除された。
• 実験的評価により、DSV値が低いデータを除外するとモデル性能が低下することが確認され、DSV評価手法の正確性が裏付けられた。