[논문 리뷰] Split learning for health: Distributed deep learning without sharing raw patient data

Praneeth Vepakomma, Otkrist Gupta외 2명|arXiv (Cornell University)|2018. 12. 03.

Machine Learning in Healthcare인용 수 346

한 줄 요약

이 논문은 원시 데이터를 공유하거나 모델 세부 정보를 공유하지 않고도 건강 기관 간 협력 모델 학습을 가능하게 하는 분산 딥러닝 프레임워크 SplitNN을 제시하고, 이를 페더레이티드 러닝과 대용량 배치 SGD와 여러 구성에서 비교한다.

ABSTRACT

Can health entities collaboratively train deep learning models without sharing sensitive raw data? This paper proposes several configurations of a distributed deep learning method called SplitNN to facilitate such collaborations. SplitNN does not share raw data or model details with collaborating institutions. The proposed configurations of splitNN cater to practical settings of i) entities holding different modalities of patient data, ii) centralized and local health entities collaborating on multiple tasks and iii) learning without sharing labels. We compare performance and resource efficiency trade-offs of splitNN and other distributed deep learning methods like federated learning, large batch synchronous stochastic gradient descent and show highly encouraging results for splitNN.

연구 동기 및 목표

• HIPAA 및 동의 제약 하에서 프라이버시 보존형 협력 건강 데이터 모델링의 필요성을 동기 부여한다.
• 다중 모달 및 다기관 건강 데이터 협업에 적합한 SplitNN 구성들을 제안한다.
• 페더레이티드 러닝과 대용량 배치 SGD에 비해 SplitNN의 자원 효율성 이점을 보여준다.
• 수직 분할 데이터 및 라벨 공유 변형에 대한 실용적 구성을 시연한다.

제안 방법

• 각 클라이언트가 커팅 층까지 학습하고 이후 서버에서 남은 순전파/역전파를 수행하는 간단한 Vanilla SplitNN을 도입한다.
• 라벨 공유를 피하면서도 서버 측 층을 사용해 학습을 완성하는 U자형 구성을 제시한다.
• 다른 기관이 서로 다른 모달리티를 보유하고 커팅 층 출력을 서버에서 연결하는 수직 분할 데이터 구성을 설명한다.
• 검증 정확도, 클라이언트 FLOPs, 통신 대역폭 측면에서 SplitNN을 페더레이티드 러닝과 대용량 SGD와 비교한다.
• 커팅 층에서 계산을 분할해 클라이언트 측 작업 부하를 줄이면서 데이터 프라이버시를 보존한다는 점을 강조한다.

실험 결과

연구 질문

• RQ1 SplitNN이 원시 데이터나 라벨을 공유하지 않고도 효과적인 다기관 건강 데이터 협업을 가능하게 할 수 있는가?
• RQ2 SplitNN 구성은 정확도, 계산, 대역폭 측면에서 페더레이티드 러닝과 대용량 SGD에 비해 어떤 차이가 있는가?
• RQ3 수직 분할 및 다모달 건강 데이터 설정에서 SplitNN의 자원 효율성 트레이드오프는 무엇인가?
• RQ4 실세계 건강 시나리오에서 SplitNN이 라벨 미보유 또는 프라이버시 민감한 구성을 지원할 수 있는가?

주요 결과

• SplitNN은 한층 높은 정확도와 함께 클라이언트 측 계산이 크게 감소한다(예: CIFAR-10의 VGG에서 100개 클라이언트 기준 0.1548 TFlops 대 29.4 TFlops).
• SplitNN은 대용량 배치 SGD 및 페더레이티드 러닝 대비 더 큰 클라이언트 수에서 클라이언트 대역폭이 더 작다(예: CIFAR-100의 ResNet에서 500개 클라이언트 시 1.2 GB 대 13 GB).
• 페더레이티드 러닝과 대용량 SGD는 보고된 설정 전반에서 SplitNN에 비해 클라이언트 측 자원이 더 많이 소모된다.
• SplitNN 구성은 원시 입력이나 라벨을 공유하지 않으면서 다중 모달 및 수직 분할 데이터를 지원한다.
• 결과는 SplitNN이 기존 분산 방법에 비해 계산 부담 및 통신 필요성을 감소시키면서 정확도를 유지할 수 있음을 시사한다.