[논문 리뷰] FADL:Federated-Autonomous Deep Learning for Distributed Electronic Health Record

Dianbo Liu, Timothy A. Miller외 2명|arXiv (Cornell University)|2018. 11. 28.

Machine Learning in Healthcare참고 문헌 16인용 수 64

한 줄 요약

논문은 Federated-Autonomous Deep Learning (FADL)을 소개합니다, 분산 학습 방법으로 전역 및 로컬 학습의 균형을 맞춰 환자 데이터를 이동시키지 않고 ICU 사망률을 예측합니다.

ABSTRACT

Electronic health record (EHR) data is collected by individual institutions and often stored across locations in silos. Getting access to these data is difficult and slow due to security, privacy, regulatory, and operational issues. We show, using ICU data from 58 different hospitals, that machine learning models to predict patient mortality can be trained efficiently without moving health data out of their silos using a distributed machine learning strategy. We propose a new method, called Federated-Autonomous Deep Learning (FADL) that trains part of the model using all data sources in a distributed manner and other parts using data from specific data sources. We observed that FADL outperforms traditional federated learning strategy and conclude that balance between global and local training is an important factor to consider when design distributed machine learning methods , especially in healthcare.

연구 동기 및 목표

• 데이터를 전송하지 않고 기관 간의 실로에 저장된 EHR 데이터로부터 학습을 유도한다.
• 글로벌 정보와 로컬 정보를 활용하면서 프라이버시를 보존하는 분산 학습 프레임워크를 개발한다.
• 다병원 ICU 사망률 데이터에서 FADL을 중앙집중 학습 및 전통적 분산 학습과 비교 평가한다.

제안 방법

• 58개 병원의 eICU ICU 데이터를 사용하여 1,264,89 회의 입원 및 1400개의 잠재 약물 특성을 이진 입력으로 사용한다.
• ReLU 은닉층과 시그모이드 출력이 있는 3층 신경망(500, 100, 1)을 구현하고 교차 엔트로피 손실 및 L2 정규화를 사용하여 학습한다.
• 세 가지 학습 전략을 비교한다: 중앙집중 학습, 원래의 연합 학습, 그리고 Federated-Autonomous Learning (FADL).
• FADL에서는 네트워크의 앞절 절반을 모든 소스에 걸쳐 전역적으로 학습한 다음, 각 데이터 소스별로 두 번째 절반을 로컬 학습하여 병원별로 특화시킨다.
• 연합 학습 기준선에서는 각 병원에서 동일 매개변수를 가진 모델을 로컬에서 학습하고 샘플 크기로 가중 합산하여 매개변수를 집계한다.
• 분산 데이터에서 파생된 테스트 세트에서 AUC-ROC 및 AUCPR를 사용하여 모델을 평가한다.

실험 결과

연구 질문

• RQ1 FADL이 데이터를 이동시키지 않음으로써 프라이버시를 유지하면서 전통적 연합 학습보다 예측 성능을 향상시킬 수 있는가?
• RQ2 전역(공유) 학습과 로컬(병원별) 학습의 균형이 중앙집중 모델과 비교하여 비슷하거나 더 나은 정확도를 낼 수 있는가?
• RQ3 ICU 사망률 예측에서 FADL의 성능은 중앙집중 학습 및 표준 연합 학습과 어떻게 비교되는가?

주요 결과

• 중앙집중 학습은 AUCROC 0.79 및 AUCPR 0.21를 달성했다.
• 원래의 연합 학습은 AUCROC 0.75 및 AUCPR 0.16를 달성했다.
• FADL은 AUCROC 0.79 및 AUCPR 0.23를 달성했다.
• FADL은 AUCROC에서 중앙집중 성능과 동등하며 AUCPR에서 연합 학습보다 우수하다.
• 전역과 로컬 학습 간의 균형이 분산 헬스케어 ML 설계의 핵심 요인으로 확인되었다.