[論文レビュー] OmniLytics: A Blockchain-based Secure Data Market for Decentralized Machine Learning

Jiacheng Liang, Songze Li+3 more|arXiv (Cornell University)|Jul 12, 2021

Blockchain Technology Applications and Security被引用数 11

ひとこと要約

OmniLyticsは、Ethereumスマートコントラクトを用いたブロックチェーンベースのセキュアなデータ市場を提案し、分散型機械学習を可能にする。データ所有者は、その内容を露呈させることなく、モデルの学習に私的データを提供可能であり、モデルおよびデータのプライバシー、Byzantine耐性、アトミック決済を確保する。このシステムにより、MNISTにおけるCNNのブロックチェーン処理時間500ms未塔で、モデルの正確性が62%から83%に向上する。

ABSTRACT

We propose OmniLytics, a blockchain-based secure data trading marketplace for machine learning applications. Utilizing OmniLytics, many distributed data owners can contribute their private data to collectively train an ML model requested by some model owners, and receive compensation for data contribution. OmniLytics enables such model training while simultaneously providing 1) model security against curious data owners; 2) data security against the curious model and data owners; 3) resilience to malicious data owners who provide faulty results to poison model training; and 4) resilience to malicious model owners who intend to evade payment. OmniLytics is implemented as a blockchain smart contract to guarantee the atomicity of payment. In OmniLytics, a model owner splits its model into the private and public parts and publishes the public part on the contract. Through the execution of the contract, the participating data owners securely aggregate their locally trained models to update the model owner's public model and receive reimbursement through the contract. We implement a working prototype of OmniLytics on Ethereum blockchain and perform extensive experiments to measure its gas cost, execution time, and model quality under various parameter combinations. For training a CNN on the MNIST dataset, the MO is able to boost its model accuracy from 62% to 83% within 500ms in blockchain processing time.This demonstrates the effectiveness of OmniLytics for practical deployment.

研究の動機と目的

• 機械学習における中央集権的データ市場のセキュリティおよびプライバシー上の制限を是正すること。
• データ所有者がそのデータを露呈させることなく、仲介者なしの分散型データ市場に参加できる仕組みを提供すること。
• スマートコントラクトに保存されたブロックチェーン上に、モデルをプライベートおよびパブリックコンポーネントに分割することで、モデルプライバシーを確保すること。
• 不正なデータ所有者が誤った更新を送信するのを防ぐ耐性と、支払いを回避する不正なモデル所有者を防ぐ耐性を提供すること。
• エンド・ツー・エンドの信頼できないデータ取引を実現する、安全で効率的かつ実用的なスマートコントラクトの実装をすること。

提案手法

• モデル所有者は、モデルを秘密に保つプライベート部分と、ブロックチェーンに公開するパブリック部分に分割することで、モデルプライバシーを維持する。
• データ所有者は、自らの私的データ上でパブリックモデルをローカルに訓練し、安全な集約を用いてマスクされた更新をアップロードすることで、データ漏洩を防止する。
• スマートコントラクトは、SecModelUpdate関数を実行し、寄与を統合し、マルチ・クルムアルゴリズムを用いて不正な更新をフィルタリングする。
• 支払いはスマートコントラクトによってアトミックに実行され、成功したモデル更新後のみ、誠実なデータ所有者に報酬が支払われる。
• システムはペアワイズマスキングと暗号技術を用いて、分散学習中のデータおよびモデルプライバシーを保証する。
• プロトタイプはEthereum上で実装され、ガスコスト、実行時間、モデル正確性がさまざまな設定で測定された。

実験結果

リサーチクエスチョン

• RQ1 中央集権的機関が存在しないブロックチェーンベースのデータ市場を設計し、セキュアで分散型の機械学習モデルの学習を可能にできるか？
• RQ2 モデル重みの一部がブロックチェーンに公開されている場合、どのようにモデルプライバシーを保証できるか？
• RQ3 データ所有者がローカルに訓練したモデルを共有モデルに寄与させる際、どのようなメカニズムでデータプライバシーを確保できるか？
• RQ4 不正なデータ所有者が誤った更新を送信するByzantine攻撃に対して、このシステムはどの程度効果的に耐性を示すか？
• RQ5 不正なモデル所有者が支払いを回避するのを防ぎつつ、誠実なデータ貢献者に対してアトミックで公平な支払いを保証できるか？

主な発見

• OmniLyticsシステムは、MNISTデータセットにおけるCNNを用いて、ブロックチェーン処理時間500ms未塔で、モデル正確性を62%から83%に向上させた。
• データ所有者（DO）の数を増やすと、特定の正確性に到達するためのコントラクト呼び出し回数が減少するが、1回の呼び出しにおける実行時間が延長される。
• モデルにパブリックレイヤーを増やすことで正確性が向上し（全パrameterの15.96%まで）、パブリックモデル共有の有効性が裏付けられた。
• モデル所有者（MO）の事前学習エポック数を40に設定すると、全テスト設定において最高の最終モデル正確性が達成された。
• システムはByzantineデータ所有者に対して高い耐性を示した：μ=0.5の場合、2%の攻撃率で83.12%の正確性を達成し、16%の攻撃率でも56.86%まで低下するにとどまった。
• マルチ・クルムの外れ値検出メカニズムは不正な更新を効果的に抑制したが、μ値が高いほどガスコストと実行時間が増加する傾向にあった。