[論文レビュー] PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN

D. Romanini, Adam James Hall+7 more|arXiv (Cornell University)|Apr 1, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用数 61

ひとこと要約

PyVerticalは、SplitNNとPrivate Set Intersectionを用いてデータ所有者間のデータを整合させる縦方向連合学習を可能にするオープンソースフレームワークであり、デュアルヘッドのMNIST設定で実証されました。

ABSTRACT

We introduce PyVertical, a framework supporting vertical federated learning using split neural networks. The proposed framework allows a data scientist to train neural networks on data features vertically partitioned across multiple owners while keeping raw data on an owner's device. To link entities shared across different datasets' partitions, we use Private Set Intersection on IDs associated with data points. To demonstrate the validity of the proposed framework, we present the training of a simple dual-headed split neural network for a MNIST classification task, with data samples vertically distributed across two data owners and a data scientist.

研究の動機と目的

• 生データを共有せずに、縦方向に分割されたデータ上でニューラルネットワークの訓練を可能にする。
• プライベートセット交差（PSI）を用いてIDでサンプルを整列させ、所有者間のデータを結びつける。
• 縦方向に分割されたMNIST設定でデュアルヘッドSplitNNアーキテクチャを実証する。
• 研究者がSplitネットワークによる縦方向連合学習を探索できるオープンソースツールを提供する。

提案手法

• モデルはデータ所有者と中央のデータサイエンティストが保持するセグメントに分割される。
• 訓練前に共有IDでデータポイントを整列させ、データセットが一貫してインデックスされるようにPSIを使用する。
• 各データ所有者はローカルのlocalSplitNNセグメントを訓練して特徴を中間表現にマッピングする。出力は連結され、データサイエンティストのセグメントに渡される。
• バックプロパゲーションはトレーニング中、すべてのセグメントを通じて勾配を伝搬する。
• このフレームワークはPySyftを活用してプライバシーを保護し、安全で協調的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の所有者にわたる特徴の垂直分割は、SplitNNを介した効果的なニューラルネットワーク訓練をサポートできるか？
• RQ2 PSIは生データを開示せずに共同訓練を可能にするように、データセット間のデータポイントを信頼性高く整列できるか？
• RQ3 特徴が二つのデータ所有者に縦方向分布し、ラベルがデータサイエンティストによって保持される場合、MNISTにデュアルヘッドSplitNNは実用的か？

主な発見

• PyVerticalは、縦方向に分割されたMNISTデータセット上でデュアルヘッドSplitNNの訓練を可能にする。
• 各データ所有者は392長の入力を64長の中間ベクトルに変換する。データサイエンティストは128長の連結を10クラスのソフトマックスにマッピングする。
• トレーニングではデータ所有者の学習率が0.01、データサイエンティストが0.1、バッチサイズは128である。
• データサイエンティストが訓練を指揮し損失を計算し、勾配をデータ所有者へバックプロパゲートする。
• このアプローチは、プライバシー保護環境下でSplitNNとPSIを用いた縦方向連合学習の原理を示す。