[논문 리뷰] Privacy-Preserving Technology to Help Millions of People: Federated Prediction Model for Stroke Prevention

Ce Ju, Ruihui Zhao외 12명|arXiv (Cornell University)|2020. 06. 15.

Artificial Intelligence in Healthcare참고 문헌 15인용 수 28

한 줄 요약

이 논문은 원시 환자 데이터를 공유하지 않고도 다수의 병원 간에 분산된 전자 건강 기록을 기반으로 한 클라우드 기반 연합 학습 프레임워크를 통해 뇌졸중 위험 예측을 위한 프라이버시 보장형 연합 예측 모델을 제안한다. 중앙 집중식 학습에 근접한 성능을 달성하면서도, 소규모 병원에서는 정확도를 10–20% 향상시키며 데이터 프라이버시를 보장하고 기관 간 확장 가능하고 안전한 AI 기반 뇌졸중 예측을 실현한다.

ABSTRACT

Prevention of stroke with its associated risk factors has been one of the public health priorities worldwide. Emerging artificial intelligence technology is being increasingly adopted to predict stroke. Because of privacy concerns, patient data are stored in distributed electronic health record (EHR) databases, voluminous clinical datasets, which prevent patient data from being aggregated and restrains AI technology to boost the accuracy of stroke prediction with centralized training data. In this work, our scientists and engineers propose a privacy-preserving scheme to predict the risk of stroke and deploy our federated prediction model on cloud servers. Our system of federated prediction model asynchronously supports any number of client connections and arbitrary local gradient iterations in each communication round. It adopts federated averaging during the model training process, without patient data being taken out of the hospitals during the whole process of model training and forecasting. With the privacy-preserving mechanism, our federated prediction model trains over all the healthcare data from hospitals in a certain city without actual data sharing among them. Therefore, it is not only secure but also more accurate than any single prediction model that trains over the data only from one single hospital. Especially for small hospitals with few confirmed stroke cases, our federated model boosts model performance by 10%~20% in several machine learning metrics. To help stroke experts comprehend the advantage of our prediction system more intuitively, we developed a mobile app that collects the key information of patients' statistics and demonstrates performance comparisons between the federated prediction model and the single prediction model during the federated training process.

연구 동기 및 목표

• 민감한 환자 기록을 공유하지 않고도 협업 모델 학습이 가능한 방식으로 의료 AI의 데이터 프라이버시 문제를 해결하기 위해.
• 소규모 병원에서 확진 사례가 제한된 경우에도 연합 학습을 통해 뇌졸중 예측 정확도를 향상시키기 위해.
• 임의의 클라이언트 연결과 다양한 로컬 학습 반복 수를 지원하는 확장 가능하고 비동기식 연합 학습 시스템을 개발하기 위해.
• 이동형 미니 프로그램 인터페이스를 통해 병원 간 모델 학습 성능을 실시간으로 모니터링하고 시각화하기 위해.
• 실제 중국 도시의 병원 네트워크에 구현된 실전 적용이 가능한 프라이버시 보장형 AI 파이프라인을 구축하기 위해.

제안 방법

• 시스템은 원시 데이터를 이동시키지 않고도 병원의 개인 클라우드 서버에서 모델 업데이트를 집계하는 연합 평균(FedAvg)을 사용한다.
• 각 병원은 자체 전자 건강 기록(EHR) 데이터를 기반으로 로컬 3층 신경망 분류기 모델을 독립적으로 학습하며, 특징 매핑 및 분류기 가중치를 별도로 업데이트한다.
• 중앙 서버는 다음 공식을 사용해 로컬 모델 가중치를 집계한다: $ w_{t+1} = \frac{1}{m} \sum_{i=1}^{m} w_t^i $, 여기서 $ m $ 은 참여한 병원의 수이다.
• 프레임워크는 비동기식이며, 클라이언트 연결 수와 통신 라운드당 변동 가능한 로컬 기울기 반복 수를 지원한다.
• 이동형 미니 프로그램(FedAI 뇌졸중 예측)은 실시간으로 환자 통계, AUC 점수, 연합 모델과 로컬 모델 간의 성능 비교를 시각화한다.
• 시스템은 텐센트 클라우드와 FATE 오픈소스 보안 컴퓨팅 프레임워크를 기반으로 구축되어 데이터 기밀성과 프라이버시 규정 준수를 보장한다.

실험 결과

연구 질문

• RQ1 원시 환자 데이터를 공유하지 않고도 중앙 집중식 학습과 유사하거나 우수한 뇌졸중 예측 성능을 달성할 수 있는가?
• RQ2 로컬 학습에 비해 연합 학습이 소규모 병원에서 뇌졸중 사례가 적은 상황에서 모델 정확도를 얼마나 향상시키는가?
• RQ3 다수의 의료 기관 간 협업 AI 학습을 가능하게 하면서도, 얼마나 효과적으로 프라이버시를 유지할 수 있는가?
• RQ4 비동기식 연합 학습 시스템이 실생활 의료 환경에서 동적으로 클라이언트 참여와 변동 가능한 로컬 학습 단계를 지원할 수 있는가?
• RQ5 시각화 시스템이 임상의가 분산된 병원 간의 모델 학습 동역학을 모니터링하고 이해하는 데 얼마나 효과적인가?

주요 결과

• 연합 예측 모델은 AUC 평균 0.813(표준편차 0.018)을 기록했으며, 중앙 집중식 학습의 AUC 0.814(±0.014)와 거의 동일한 성능을 보였다.
• 뇌졸중 유병률이 1% 미만인 소규모 병원에서는 연합 모델이 로컬 단독 학습 모델 대비 AUC 점수를 10%에서 20% 향상시켰다.
• 전체 환자의 약 50%를 기여한 병원 A는 로컬 AUC 0.812를 기록했으며, 이는 그 데이터가 연합 모델 성능에 지배적인 영향을 미쳤음을 시사한다.
• 다양한 데이터와 협업 학습 덕분에, 연합 모델은 더 큰 기관의 모델조차도 초월하여 전반적인 성능을 냈다.
• 시각화 시스템은 연합 모델과 로컬 모델 간의 실시간 성능 비교를 성공적으로 구현하여 임상의의 투명성과 신뢰도를 향상시켰다.
• 시스템은 확장성과 보안성을 입증했으며, 비동기 클라이언트 연결을 지원하고 학습 과정 전반에 걸쳐 데이터 프라이버시를 유지했다.