[論文レビュー] Substra: a framework for privacy-preserving, traceable and collaborative Machine Learning

Mathieu Galtier, Camille Marini|arXiv (Cornell University)|Oct 25, 2019

Privacy-Preserving Technologies in Data被引用数 35

ひとこと要約

Substra はデータがローカルノードにとどまり、計算が分散台帳によって調整され、モデル資産が明確な権限によって管理される、分散型でプライバシー保護された協調型機械学習のフレームワークを提示します。

ABSTRACT

Machine learning is promising, but it often needs to process vast amounts of sensitive data which raises concerns about privacy. In this white-paper, we introduce Substra, a distributed framework for privacy-preserving, traceable and collaborative Machine Learning. Substra gathers data providers and algorithm designers into a network of nodes that can train models on demand but under advanced permission regimes. To guarantee data privacy, Substra implements distributed learning: the data never leave their nodes; only algorithms, predictive models and non-sensitive metadata are exchanged on the network. The computations are orchestrated by a Distributed Ledger Technology which guarantees traceability and authenticity of information without needing to trust a third party. Although originally developed for Healthcare applications, Substra is not data, algorithm or programming language specific. It supports many types of computation plans including parallel computation plan commonly used in Federated Learning. With appropriate guidelines, it can be deployed for numerous Machine Learning use-cases with data or algorithm providers where trust is limited.

研究の動機と目的

• データが機微である場合や分散している場合のMLにおけるプライバシーと協調を促進する。
• データを所有者ノードに保持しつつ協調的なモデル訓練を可能にするフレームワークを提案する。
• 権限付き資産と台帳を通じて、信頼不要で監査可能なMLワークフローのプラットフォームを提供する。
• 計算計画がMLタスクの柔軟で拡張性のあるフェデレーションをどのように実現するかを示す。

提案手法

• 明示的なメタデータと相互運用性の規約を備えた4つの資産タイプ（Objectives、Datasets、Algorithms、Models）を定義する。
• プライベート分散台帳内のスマートコントラクトによって処理と資産のダウンロードを制限する権限制度を課す。
• 計算計画内でトレインツーペルとテストツーペルとしてML計算をオーケストレーションし、逐次または並列訓練と平均化を可能にする。
• Hyperledger Fabricベースの台帳を用いた分散ノードネットワークを活用して、操作を追跡し権限を強制する。
• トランク・ヘッド構成とモジュラ計算計画によってモデルの組み換えと転移学習をサポートする。
• 資産を作成し、権限を管理し、計算計画を実行するための3つのインターフェイス（Web、CLI、Python SDK）を提供する。

実験結果

リサーチクエスチョン

• RQ1 機密性のある分散データに対して、原始データを参加者間で転送することなくMLをどのように訓練できるか？
• RQ2 協調的な環境で、プライベート分散台帳がML計算の追跡性と真正性を提供できるか？
• RQ3 複数組織に跨る複雑な連合学習タスクを支配するのに十分な資産と権限の抽象化は何か？
• RQ4 計算計画はプライバシーを保ちながら逐次、並列、ハイブリッドな連合訓練と評価をどのようにサポートできるか？

主な発見

• Substraはデータが所有者ノードを離れることなく、リモートでプライバシー保護されたMLを実現する。
• スマートコントラクトを備えたプライベート分散台帳は資産権限を事前に強制し、追跡性のための非機微メタデータを記録する。
• 計算計画は逐次・並列・平均化のステップを含む柔軟なフェデレーテッド訓練パターンを可能にする。
• 資産（Objectives、Datasets、Algorithms、Models）とそれらの権限は、データ/アルゴリズムの共同利用、データ連合、訓練/評価の協調などのユースケースをサポートする。
• データプライバシーを保ちながら、トランクとプライベートヘッドを介してモデルの組み換えと転移学習をサポートする。
• このフレームワークはオープンソースで、データ/アルゴリズム言語に依存しないよう設計されており、複数のインターフェイスで対話できる。