[论文解读] Split learning for health: Distributed deep learning without sharing raw patient data

Praneeth Vepakomma, Otkrist Gupta+2 more|arXiv (Cornell University)|Dec 3, 2018

Machine Learning in Healthcare被引用 346

一句话总结

本文提出 SplitNN ，是一种分布式深度学习框架，能够在健康实体之间协同训练模型，而不分享原始数据或模型细节，并在多种配置下将其与联邦学习和大批量 SGD 进行比较。

ABSTRACT

Can health entities collaboratively train deep learning models without sharing sensitive raw data? This paper proposes several configurations of a distributed deep learning method called SplitNN to facilitate such collaborations. SplitNN does not share raw data or model details with collaborating institutions. The proposed configurations of splitNN cater to practical settings of i) entities holding different modalities of patient data, ii) centralized and local health entities collaborating on multiple tasks and iii) learning without sharing labels. We compare performance and resource efficiency trade-offs of splitNN and other distributed deep learning methods like federated learning, large batch synchronous stochastic gradient descent and show highly encouraging results for splitNN.

研究动机与目标

• 在 HIPAA 与知情同意约束下，说明需要隐私保护的协作健康数据建模的动机。
• 提出适用于多模态与多机构健康数据协作的 SplitNN 配置。
• 展示 SplitNN 相对于联邦学习和大批量 SGD 的资源效率优势。
• 演示垂直分区数据和标签共享变体的实际配置。

提出的方法

• 提出简单的 vanilla SplitNN，每个客户端在切割层之前进行训练并将激活值发送给服务器以完成其余的前向/反向传播。
• 给出 U 形配置，在不共享标签的情况下使用服务器端层完成训练。
• 描述垂直分区数据配置，其中不同机构持有不同模态，在服务器处拼接切割层输出。
• 在验证准确度、客户端 FLOPs 和通信带宽方面，将 SplitNN 与联邦学习和大批量 SGD 进行比较。
• 强调在切割层进行计算分担，从而减轻客户端工作量并保持数据隐私。

实验结果

研究问题

• RQ1 SplitNN 能否在不共享原始数据或标签的情况下实现多机构健康数据协作？
• RQ2 在准确性、计算和带宽方面，SplitNN 配置与联邦学习和大批量 SGD 的比较如何？
• RQ3 在垂直分区和多模态健康数据设置中，SplitNN 的资源效率权衡是什么？
• RQ4 SplitNN 能否在现实健康场景中支持无标签或隐私敏感的配置？

主要发现

• SplitNN 显示出更高的准确性，同时在客户端计算方面显著降低（例如，在 CIFAR-10 的 VGG 上，100 个客户端时 0.1548 TFlops 对 29.4 TFlops）。
• 在客户端数量较多时，SplitNN 比大批量 SGD 和联邦学习需要更少的客户端带宽（例如，在 CIFAR-100 的 ResNet 上，500 个客户端时 1.2 GB 对 13 GB）。
• 在报告的设置中，联邦学习和大批量 SGD 在客户端端比 SplitNN 更资源密集。
• SplitNN 配置支持多模态和垂直分区数据，同时不共享原始输入或标签。
• 结果表明，与基线分布式方法相比，SplitNN 能在保持准确性的同时降低计算负担和通信需求。