[논문 리뷰] Differential Privacy-enabled Federated Learning for Sensitive Health Data

Olivia Choudhury, Aris Gkoulalas-Divanis외 5명|arXiv (Cornell University)|2019. 10. 07.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 169

한 줄 요약

본 논문은 두 수준의 프라이버시를 보장하는 분산 건강 데이터용 연합학습 프레임워크를 제시하고, 원시 데이터 공유 금지와 목적Perturbation을 통한 차등 프라이버시를 통해 성능에 미치는 영향을 실제 데이터 세트를 사용해 평가한다.

ABSTRACT

Leveraging real-world health data for machine learning tasks requires addressing many practical challenges, such as distributed data silos, privacy concerns with creating a centralized database from person-specific sensitive data, resource constraints for transferring and integrating data from multiple sites, and risk of a single point of failure. In this paper, we introduce a federated learning framework that can learn a global model from distributed health data held locally at different sites. The framework offers two levels of privacy protection. First, it does not move or share raw data across sites or with a centralized server during the model training process. Second, it uses a differential privacy mechanism to further protect the model from potential privacy attacks. We perform a comprehensive evaluation of our approach on two healthcare applications, using real-world electronic health data of 1 million patients. We demonstrate the feasibility and effectiveness of the federated learning framework in offering an elevated level of privacy and maintaining utility of the global model.

연구 동기 및 목표

• 규제 제약 하에서 데이터 원본이 서로 분리된 민감한 건강 데이터를 분산 학습으로 다룰 때의 동기 부여와 도전 과제 설명
• 원시 데이터를 공유하지 않으면서 모델 업데이트를 보호하기 위해 차등 프라이버시를 포함하는 연합학습 프레임워크 제안
• 헬스케어 작업에서 프라이버시(에psilon)와 유용성(모델 성능) 간의 트레이드오프를 평가
• 실세계 데이터셋으로 프레임워크를 시연하여 실현 가능성과 프라이버시-유틸리티의 균형 평가

제안 방법

• 로컬 사이트가 데이터를 기반으로 글로벌 모델을 학습하고 집계용으로만 파라미터 업데이트를 공유하는 연합학습 설정을 설명
• 로컬 목적 함수에 노이즈를 추가하여 private 최소자를 얻는 목적 perturbation을 통한 차등 프라이버시 도입
• 분산 학습에 적합한 경사하강식 분류기(퍼ceptron, SVM, 로지스틱 회귀)에 집중
• DP 매개변수 epsilon을 변화시키고 F1 스코어를 측정하여 프라이버시-유틸리티 트레이드오프 평가
• 10개 사이트에 걸친 실제 건강 데이터셋(ADR 예측용 LCED, 사망 예측용 MIMIC III) 활용
• 다수의 모델과 프라이버시 수준에서 중앙 집중 학습, 표준 연합학습, DP가 적용된 연합학습 비교

실험 결과

연구 질문

• RQ1 원시 데이터를 공유하지 않고 분산된 헬스케어 데이터에서 연합학습이 얼마나 잘 수행되는가?
• RQ2 목적 perturbation을 통한 epsilon-차등 프라이버시를 추가했을 때 헬스케어 작업에 대한 연합 모델의 예측 성능에 미치는 영향은 무엇인가?
• RQ3 DP 활성화 FL 모델이 실제 헬스케어 애플리케이션에서 중앙 집중 또는 표준 FL과 비교하여 유용성을 유지하는가?
• RQ4 의료 데이터 세트에서 DP를 연합학습에 적용할 때 나타나는 프라이버시-유틸리티 트레이드오프는 무엇인가?

주요 결과

• 차등 프라이버시가 없는 연합학습은 ADR(LCED) 및 사망률(MIMIC III)에 대해 중앙 집중 학습에 근접한 성능을 보인다.
• 에psilon-차등 프라이버시 도입은 분산 학습 과정의 노이즈로 인해 모델 유용성을 저하시킨다.
• DP 활성화 FL은 더 강한 프라이버시 보장을 제공하지만 의료 환경에서 예측 성능을 크게 감소시킬 수 있다.
• 다양한 데이터셋과 분류기에서 프라이버시 수준이 강화될수록 유틸리티가 하락하는 경향이 있어 프라이버시-유틸리티 트레이드오프를 시사한다.
• 실제 의료 현장의 제한된 사이트 데이터 상황에서 DP가 FL에 최적의 선택이 아닐 수 있으며, 대안 프라이버시 접근법의 탐색 필요성을 시사한다.