[논문 리뷰] A Fully Private Pipeline for Deep Learning on Electronic Health Records

Edward Chou, Thao Nguyen외 3명|arXiv (Cornell University)|2018. 11. 25.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 4

한 줄 요약

이 논문은 전자 건강 기록(EHR)에서 30일 이내 재입원을 예측하기 위한 완전히 비공개적인 딥러닝 파이프라인을 제안한다. 학습 단계에서는 차별적 프라이버시를, 추론 단계에서는 동형 암호화를 적용한다. 강력한 프라이버시 보장($\epsilon=4$, $\delta=10^{-5}$) 하에 높은 성능(AUC = 0.66, 재현율 = 0.60)을 달성하였으며, 데이터 표준화와 최적화된 활성화 함수를 통해 프라이버시-유용성 트레이드오프를 해결한다.

ABSTRACT

We introduce an end-to-end private deep learning framework, applied to the task of predicting 30-day readmission from electronic health records. By using differential privacy during training and homomorphic encryption during inference, we demonstrate that our proposed pipeline could maintain high performance while providing robust privacy guarantees against information leak from data transmission or attacks against the model. We also explore several techniques to address the privacy-utility trade-off in deploying neural networks with privacy mechanisms, improving the accuracy of differentially-private training and the computation cost of encrypted operations using ideas from both machine learning and cryptography.

연구 동기 및 목표

• 의료 기계학습에서 민감한 EHR가 탈식별화 및 모델 역공격에 노출되는 문제를 해결하기 위해 환자 데이터 프라이버시 문제를 해결한다.
• 모델 학습 및 추론 단계를 모두 보호하는 종단간 프라이버시 보존 딥러닝 프레임워크를 개발한다.
• 프라이버시 메커니즘인 차별적 프라이버시 및 동형 암호화로 인한 성능 저하를 최소화한다.
• 데이터 표준화와 동형 암호화에 적합한 효율적인 활성화 함수 설계를 통해 프라이버시-유용성 트레이드오프를 최적화한다.
• 실제 임상 예측 과제인 EHR에서의 30일 재입원 예측에 대해 완전히 비공개 파이프라인의 실현 가능성과 강건성을 입증한다.

제안 방법

• 학습 단계에서 $(\epsilon, \delta)$-차별적 프라이버시를 확보하기 위해 기울기 클리핑과 가우시안 노이즈 주입을 적용한 차별적 프라이버시 확보 확률적 경사 하강법(DP-SGD)을 사용한다.
• 기울기 L2 노름을 감소시켜 클리핑 임계값과 노이즈 요구량을 낮추고, 학습 안정성과 프라이버시 효율성을 향상시키기 위해 입력 특성 표준화를 적용한다.
• Microsoft SEAL을 통해 FV-RNS 동형 암호화 체계를 사용하여 복호화 없이도 암호화된 EHR 데이터에서 추론을 가능하게 한다.
• 다양한 계수의 양자화를 적용한 근사 Swish 활성화 함수를 설계하고 평가하여 동형 추론에서의 곱셈 연산과 계산 비용을 줄인다.
• 비선형 활성화 함수(예: ReLU, 시그모이드)의 저차 다항식 근사를 통해 레벨 기반 동형 암호화와의 호환성을 유지한다.
• 프라이버시 예산 소모를 방지하고 공식적인 프라이버시 보장을 확보하기 위해 프라이버시 회계사(privacy accountant)를 활용해 프라이버시 예산을 추적한다.

실험 결과

연구 질문

• RQ1 EHR 데이터의 학습 및 추론 단계 모두에서 강력한 프라이버시 보장을 보장하는 완전한 비공개 딥러닝 파이프라인을 구축할 수 있는가?
• RQ2 입력 표준화는 임상 과제에 대한 차별적 프라이버시 딥러닝에서 프라이버시 비용과 학습 안정성에 어떤 영향을 미치는가?
• RQ3 다양한 활성화 함수 근사 방식은 신경망의 동형 추론 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 30일 재입원 예측에 대해 EHR에서 최적의 프라이버시-유용성 균형을 이루는 차별적 프라이버시 수준($\epsilon$)은 어느 정도인가?
• RQ5 과도한 계산 부담 없이 동형 암호화를 실제 임상 딥러닝 모델에 효율적으로 적용할 수 있는가?

주요 결과

• EHR 특성의 표준화가 기울기 L2 노름을 크게 감소시켜 클리핑 임계값과 노이즈 요구량을 낮추었으며, 이는 학습 안정성 향상과 프라이버시 비용 감소에 기여했다.
• 강력한 프라이버시 보장($\epsilon=4$, $\delta=10^{-5}$) 하에 AUC 0.66과 재현율 0.60의 높은 성능을 달성하였으며, 차별적 프라이버시에도 불구하고 뛰어난 성능을 보였다.
• 가장 우수한 프라이버시-유용성 균형은 $\epsilon=4$에서 달성되었으며, 더 높은 노이즈 수준($\epsilon=1$)은 조기 학습 정지와 낮은 성능을 유도했다.
• 계수 양자화를 적용한 근사 Swish가 AUC 0.678과 재현율 0.645를 기록하여 ReLU-Sigmoid 및 제곱 활성화 함수를 모두 초월했으며, 낮은 계산 부담을 유지했다.
• 양자화된 Swish 활성화 함수는 불필요한 곱셈 연산을 최소화하여 동형 추론의 효율성을 높였고, 성능 저하 없이 실행 시간을 감소시켰다.
• 완전히 비공개 파이프라인이 기존 연구들(0.61 및 0.23)보다 높은 AUC(0.63)을 달성하여, 높은 노이즈 조건에서도 제안된 프라이버시 보존 기법의 효과성을 입증했다.