[論文レビュー] Split learning for health: Distributed deep learning without sharing raw patient data

Praneeth Vepakomma, Otkrist Gupta+2 more|arXiv (Cornell University)|Dec 3, 2018

Machine Learning in Healthcare被引用数 346

ひとこと要約

要約: 本論文はSplitNNを提案し、生データやモデルの詳細を共有せずに健康分野のエンティティ間で協調的なモデル訓練を可能にする分散ディープラーニングフレームワークを提示し、複数の設定で連携学習（federated learning）および大規模バッチSGDと比較する。

ABSTRACT

Can health entities collaboratively train deep learning models without sharing sensitive raw data? This paper proposes several configurations of a distributed deep learning method called SplitNN to facilitate such collaborations. SplitNN does not share raw data or model details with collaborating institutions. The proposed configurations of splitNN cater to practical settings of i) entities holding different modalities of patient data, ii) centralized and local health entities collaborating on multiple tasks and iii) learning without sharing labels. We compare performance and resource efficiency trade-offs of splitNN and other distributed deep learning methods like federated learning, large batch synchronous stochastic gradient descent and show highly encouraging results for splitNN.

研究の動機と目的

• HIPAAと同意制約の下でプライバシー保護付きの協調的健康データモデリングの必要性を動機付ける。
• 多モーダル・多機関の健康データ協調に適したSplitNNの構成を提案する。
• フェデレーテッドラーニングおよび大容量バッチSGDに対するSplitNNの資源効率性の利点を示す。
• 垂直分割データとラベル共有のバリアントに実用的な構成を示す。

提案手法

• 各クライアントがカット層まで訓練し、サーバへ活性化を送って残りの前方伝播/後方伝播を処理する、単純なヴァニラSplitNNを導入する。
• ラベル共有を避けつつ、サーバ側の層を用いて訓練を完了するU字型構成を提示する。
• 異なる機関が異なるモダリティを保持し、サーバでカット層の出力を連結する垂直分割データ構成を説明する。
• SplitNNをフェデレーテッドラーニングおよび大容量バッチSGDと、検証精度・クライアントFLOPs・通信帯域の観点で比較する。
• 計算をカット層で分割することでクライアント側の作業負荷を低減しつつデータプライバシーを維持することを強調する。

実験結果

リサーチクエスチョン

• RQ1 Rawデータやラベルを共有せずにSplitNNは実質的な多機関ヘルスデータ協調を可能にするか？
• RQ2 SplitNNの構成は精度・計算・帯域幅の点でフェデレーテッドラーニングおよび大容量バッチSGDとどう比較されるか？
• RQ3 垂直分割・モーダル多様なヘルスデータ設定におけるSplitNNの資源効率のトレードオフは？
• RQ4 SplitNNは現実世界のヘルスシナリオでラベルなしまたはプライバシー敏感な構成をサポートできるか？

主な発見

• SplitNNは高い精度を示す一方でクライアント側の計算は劇的に低減される（例: CIFAR-10 with VGGで100クライアント時、0.1548 TFlops vs 29.4 TFlops）。
• SplitNNはクライアント数が増えると大容量バッチSGDおよびフェデレーテッドラーニングよりクライアント帯域幅を抑えられる（例: CIFAR-100 with ResNetで500クライアント時、6 GB vs 1.2 GB）。
• フェデレーテッドラーニングおよび大容量バッチSGDは報告されている設定全体でSplitNNよりクライアント側リソースを多く消費する。
• SplitNNの構成はラベルの共有なしにマルチモーダルおよび垂直分割データをサポートする。
• 結果はSplitNNがベースライン分散手法に比べて計算負荷と通信需要を削減しつつ精度を維持できることを示唆する。