[논문 리뷰] Differentially Private Federated Learning for Cancer Prediction

Constance Béguier, Jean Ogier du Terrail외 3명|arXiv (Cornell University)|2021. 01. 08.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 16

한 줄 요약

이 논문은 두 개의 가상 센터를 통해 유전체 데이터를 활용한 유방암 예측을 위한 차별적(private) 분산 학습 접근법을 제시한다. DP-SGD를 사용하고 사전에 정밀한 프라이버시 예산 계산을 수행하며, 엄격한 프라이버시 예산(ε=1, δ=10⁻⁵) 하에서 93.5%의 정확도를 달성한다. 프라이버시가 완화될수록 성능은 99.5%에 수렴하며, 분산 유전체 환경에서 모델 유틸리티와 데이터 프라이버시 간의 강력한 트레이드오프를 보여준다.

ABSTRACT

Since 2014, the NIH funded iDASH (integrating Data for Analysis, Anonymization, SHaring) National Center for Biomedical Computing has hosted yearly competitions on the topic of private computing for genomic data. For one track of the 2020 iteration of this competition, participants were challenged to produce an approach to federated learning (FL) training of genomic cancer prediction models using differential privacy (DP), with submissions ranked according to held-out test accuracy for a given set of DP budgets. More precisely, in this track, we are tasked with training a supervised model for the prediction of breast cancer occurrence from genomic data split between two virtual centers while ensuring data privacy with respect to model transfer via DP. In this article, we present our 3rd place submission to this competition. During the competition, we encountered two main challenges discussed in this article: i) ensuring correctness of the privacy budget evaluation and ii) achieving an acceptable trade-off between prediction performance and privacy budget.

연구 동기 및 목표

• 분산된 유전체 데이터에서 정확한 암 예측 모델을 훈련시키는 데 도전하면서도 강력한 프라이버시 보장을 확보한다.
• 여러 훈련 라운드를 포함한 분산 학습 환경에서 차별적 프라이버시 예산의 정확성과 날카운 계산을 보장한다.
• 실제 유전체 데이터 경쟁 환경에서 모델 정확도와 프라이버시 예산(ε, δ) 간의 트레이드오프를 최적화한다.
• 데이터 전처리 및 모델 훈련 중 프라이버시 泄漏를 방지하는 견고한 파ipeline을 개발한다.

제안 방법

• 로컬 모델 업데이트 중 기울기에 가우시안 노이즈를 추가하여 (ε, δ)-차별적 프라이버시를 보장하기 위해 DP-SGD를 사용한다.
• 더 정밀한 프라이버시 계산을 위해 레니(Rényi) 차별적 프라이버시(RDP)를 사용하며, 표준 (ε, δ)-DP에 비해 더 날카운 조합 경계를 제공한다.
• RDP에서 (ε, δ)-DP로의 변환을 통해 RDP 파라미터를 최종 프라이버시 예산으로 매핑하기 위해 정리 6을 적용한다.
• 목표 프라이버시 예산(εₜ, δₜ)에 최적의 모델 구성으로 매핑하기 위해 초모수를 대상으로 렉시코그래픽 검색을 구현한다.
• 클라이언트 각각에서 로컬로 유전자 선택 및 보간(imputation)을 수행하여 전처리 단계에서 데이터 泄漏를 방지한다.
• 모델 파rameter만 공유하는 분산 평균화(federated averaging)를 통해 DP-SGD로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 유전체 데이터를 위한 분산 학습 파이프라인에서 차별적 프라이버시가 정확하고 날카롭게 측정될 수 있는 방법은 무엇인가?
• RQ2 두 센터로 구성된 분산 암 예측 설정에서 모델 정확도와 프라이버시 예산(ε, δ) 간의 달성 가능한 트레이드오프는 어떠한가?
• RQ3 다양한 유전자 서명 선택(로테르담 대비 citbcmst)이 다양한 프라이버시 제약 조건 하에서 모델 성능에 미치는 영향은 어떠한가?
• RQ4 중앙 집중화 없이도 분산 유전체 환경에서 고성능 예측 정확도를 유지하면서 강력한 프라이버시 보장을 확보할 수 있는가?
• RQ5 분산 유전체 환경에서 데이터 전처리 및 모델 훈련 중 프라이버시 예산 泄漏를 방지하는 방법은 무엇인가?

주요 결과

• 엄격한 프라이버시 예산(ε=1, δ=10⁻⁵) 하에서 93.5%의 검증 정확도를 달성하여 강력한 프라이버시-유용성 트레이드오프를 입증하였다.
• 높은 프라이버시 예산에서 모델 정확도가 급격히 향상되어, ε가 5를 초과할 경우 최대 99.5%에 도달하였다.
• 낮은 프라이버시 예산(ε ≤ 2)에서는 로테르담 유전자 서명이 citbcmst 서명보다 성능이 뛰어나, 더 적은 특징으로 인한 낮은 분산 때문일 것이다.
• 높은 프라이버시 예산(ε > 2)에서는 citbcmst 서명이 로테르담 서명을 앞서며, 더 높은 노이즈 내성 덕분에 풍부한 특징 집합을 더 효과적으로 활용할 수 있음을 시사한다.
• RDP 기반 프라이버시 계산은 더 날카롭고 정확한 프라이버시 예산 추정을 가능하게 하여, 일반적인 분석에서 흔히 발생하는 과대 추정을 방지하였다.
• 모델 파rameter만 집계되고 데이터가 공유되지 않도록 보장함으로써, 전처리 단계에서 프라이버시 泄漏가 성공적으로 방지되었다.