[논문 리뷰] Split learning for health: Distributed deep learning without sharing raw patient data

Praneeth Vepakomma, Otkrist Gupta외 2명|arXiv (Cornell University)|2018. 12. 03.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 178

한 줄 요약

이 논문은 원시 데이터나 모델 세부 정보를 공유하지 않고 협력적 심층 학습을 가능하게 하는 SplitNN 구성들을 제시하고, 이를 연합 학습과 대형 배치 SGD와의 효율성 측면에서 비교한다.

ABSTRACT

Can health entities collaboratively train deep learning models without sharing sensitive raw data? This paper proposes several configurations of a distributed deep learning method called SplitNN to facilitate such collaborations. SplitNN does not share raw data or model details with collaborating institutions. The proposed configurations of splitNN cater to practical settings of i) entities holding different modalities of patient data, ii) centralized and local health entities collaborating on multiple tasks and iii) learning without sharing labels. We compare performance and resource efficiency trade-offs of splitNN and other distributed deep learning methods like federated learning, large batch synchronous stochastic gradient descent and show highly encouraging results for splitNN.

연구 동기 및 목표

• 프라이버시 제약(HIPAA, 동의) 하에서 원시 데이터를 교환하지 않고 협력적 건강 학습을 촉진한다.
• 다중 모달 및 수직 분할 데이터에 적합한 splitNN 구성을 개발한다.
• 현실적인 건강 환경에서 federated learning 및 대형 배치 SGD에 비해 자원 효율성과 성능 이점을 보여준다.

제안 방법

• 원시 데이터 공유 없이 활성화를 이용한 분할 학습의 기본 버전을 설명한다.
• 레이블 공유를 피하는 U자형 split 학습 구성을 도입한다.
• 다중 모달 협업을 위한 수직 분할 데이터 구성을 제시한다(예: 영상의학 + 병리학).
• SplitNN을 연합 학습 및 대형 배치 SGD와 정확도, 클라이언트 FLOPs, 대역폭 측면에서 비교한다.
• 확장된 vanilla, 다중 과제, 다중 도약(split) 학습 등 보조 구성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 SplitNN이 원시 데이터나 레이블을 공유하지 않고도 정확한 분산 학습을 가능하게 하는가?
• RQ2 건강 유사 데이터셋에서 SplitNN, federated learning, 대형 배치 SGD 간의 자원(계산 및 대역폭) trade-off는 무엇인가?
• RQ3 SplitNN 구성이 수직 분할 데이터 및 다중 과제/다중 모달 설정을 어떻게 처리하는가?
• RQ4 실용적 건강 협력을 위한 SplitNN의 확장(예: 다중 도약, 다중 과제)은 무엇이 가능한가?

주요 결과

방법	100 Clients	500 Clients
계산 자원 (TFlops)	0.1548	0.03
대형 배치 SGD	29.4	5.89
연합 학습	29.4	5.89

• SplitNN은 CIFAR-10/100 벤치마크에서 연합 학습 및 대형 배치 SGD에 비해 클라이언트 측 계산이 현저히 낮으면서도 더 높은 정확도를 달성한다(100개 및 500개 클라이언트에서 VGG/ResNet-50 사용).
• 표 1은 SplitNN이 100개 클라이언트에서 0.1548 TFlops, 500개 클라이언트에서 0.03 TFlops를 요구하는 반면 대형 배치 SGD 및 연합 학습은 각각 29.4/5.89 TFlops를 요구함을 보여준다.
• 표 2는 SplitNN 대역폭이 100개 클라이언트에서 6 GB, 500개 클라이언트에서 1.2 GB인 반면 대형 배치 SGD는 13/14 GB, 연합 학습은 3/2.4 GB임을 보여준다.
• SplitNN의 구성은 협력하지 않는 단위, 무레이블 학습, 다중 모달 협업용 수직 분할 데이터를 지원한다.
• SplitNN은 대규모 설정으로 확장 가능하며 최신 아키텍처와 호환되며, 모델 압축으로 인한 잠재적 이득에 대해서도 논의된다.