[논문 리뷰] Dopamine: Differentially Private Federated Learning on Medical Data

Mohammad Malekzadeh, Burak Hasırcıoglu외 4명|arXiv (Cornell University)|2021. 01. 27.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 42

한 줄 요약

Dopamine은 연합학습과 차 Differentially private stochastic gradient descent(DP-SGD) 및 secure aggregation을 결합하여 분산 의료 이미지를 대상으로 DNN을 학습시키며, 중앙 집중식 DP에 근접한 프라이버시 보장을 달성하고, 병렬 DP를 사용하는 표준 FL보다 정확도에서 향상된 성능을 보인다.

ABSTRACT

While rich medical datasets are hosted in hospitals distributed across the world, concerns on patients' privacy is a barrier against using such data to train deep neural networks (DNNs) for medical diagnostics. We propose Dopamine, a system to train DNNs on distributed datasets, which employs federated learning (FL) with differentially-private stochastic gradient descent (DPSGD), and, in combination with secure aggregation, can establish a better trade-off between differential privacy (DP) guarantee and DNN's accuracy than other approaches. Results on a diabetic retinopathy~(DR) task show that Dopamine provides a DP guarantee close to the centralized training counterpart, while achieving a better classification accuracy than FL with parallel DP where DPSGD is applied without coordination. Code is available at https://github.com/ipc-lab/private-ml-for-health.

연구 동기 및 목표

• 분산 의료 데이터셋에서 DNN 학습 시 프라이버시 우려를 제시한다.
• 레코드 수준의 DP를 위한 차등 프라이버시 보장을 갖춘 FL 기반 학습 프레임워크를 개발한다.
• 안전한 집계와 모멘텀 지원 DPSGD를 활용한 프라이버시-유틸리티 트레이드오프를 개선한다.
• Diabetic retinopathy 태스크에 대한 이론적 프라이버시 보장과 실험적 평가를 제공한다.

제안 방법

• Dopamine을 제안한다. 이는 안전한 집계와 함께하는 FL용 맞춤 DPSGD이다.
• 샘플당 그래디언트를 한도 C로 잘라내고 스케일이 sigma인 가우시안 노이즈를 추가한다.
• 그래디언트 업데이트에 모멘텀을 사용하여 정확도를 향상시킨다.
• (epsilon, delta)-DP를 적용하기 위해 Moments Accountant(MA)을 사용하여 라운드별 프라이버시 손실을 추적한다.
• 안전한 집계를 통해 서버에 대한 레코드 수준 DP 및 병원에 대한 DP를 보장한다.
• 기본 모델로 SqueezeNet을 활용한 diabetic retinopathy 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 Dopamine이 분산 의료 데이터에 대한 연합 학습 중 레코드 수준 DP 보장을 제공할 수 있는가?
• RQ2 안전한 집계가 DPSGD를 사용하는 표준 FL보다 중앙 집중식 DP에 더 근접한 프라이버시-유틸리티 트레이드오프를 달성하도록 하는가?
• RQ3 모멘텀 및 매라운드 MA 기반 프라이버시 계량화를 도입하는 것이 모델 정확도와 프라이버시 손실에 어떤 영향을 주는가?

주요 결과

• Dopamine은 중앙집중식 학습(CDP)에 근접한 DP 경계에 도달하며, 초기 시점에서 더 나은 경우가 많다.
• 동일한 프라이버시 수준에서 Dopamine은 병렬 DP(FPDP)보다 더 높은 분류 정확도를 보인다.
• 안전한 집계는 각 병원의 노이즈 부담을 줄여 FPDP에 비해 유틸리티를 향상시킨다.
• 비프라이버시 FL과 비교하여 Dopamine은 형식적 DP 보장을 제공하면서도 경쟁력 있는 정확도를 유지한다.
• 제시된 설정에서 이 방법은 서버에 대해 (epsilon, delta)-DP를, 병원에 대해 (epsilon*sqrt(K/(K-1)), delta)-DP를 보장한다.