[논문 리뷰] Private, fair and accurate: Training large-scale, privacy-preserving AI models in medical imaging

Soroosh Tayebi Arasteh, Alexander Ziller외 7명|arXiv (Cornell University)|2023. 02. 03.

Artificial Intelligence in Healthcare and Education참고 문헌 57인용 수 12

한 줄 요약

본 논문은 의료 영상 모델에 대한 프라이버시 보존(차등 프라이버시) 학습을 평가하고, chest radiographs와 3D CT PDAC 작업에서 비프라이빗 학습과의 정확도 및 공정성을 비교하며, 일부 정확도 트레이드오프를 수용 가능한 정확도와 공정성으로 발견한다.

ABSTRACT

Artificial intelligence (AI) models are increasingly used in the medical domain. However, as medical data is highly sensitive, special precautions to ensure its protection are required. The gold standard for privacy preservation is the introduction of differential privacy (DP) to model training. Prior work indicates that DP has negative implications on model accuracy and fairness, which are unacceptable in medicine and represent a main barrier to the widespread use of privacy-preserving techniques. In this work, we evaluated the effect of privacy-preserving training of AI models regarding accuracy and fairness compared to non-private training. For this, we used two datasets: (1) A large dataset (N=193,311) of high quality clinical chest radiographs, and (2) a dataset (N=1,625) of 3D abdominal computed tomography (CT) images, with the task of classifying the presence of pancreatic ductal adenocarcinoma (PDAC). Both were retrospectively collected and manually labeled by experienced radiologists. We then compared non-private deep convolutional neural networks (CNNs) and privacy-preserving (DP) models with respect to privacy-utility trade-offs measured as area under the receiver-operator-characteristic curve (AUROC), and privacy-fairness trade-offs, measured as Pearson's r or Statistical Parity Difference. We found that, while the privacy-preserving trainings yielded lower accuracy, they did largely not amplify discrimination against age, sex or co-morbidity. Our study shows that -- under the challenging realistic circumstances of a real-life clinical dataset -- the privacy-preserving training of diagnostic deep learning models is possible with excellent diagnostic accuracy and fairness.

연구 동기 및 목표

• 민감한 데이터로 인해 의료 영상 AI에서 프라이버시 보존의 필요성을 제기한다.
• 모델 정확도(AUROC)와 공정성 지표에 대한 차등 프라이버시의 영향을 평가한다.
• 대규모 임상 데이터세트에서 프라이버시 보존 모델을 비프라이빗 기준선과 비교한다.
• 현실 세계 데이터에서 프라이버시-유용성 및 프라이버시-공정성 트레이드오프를 특성화한다.

제안 방법

• 두 개의 데이터세트를 사용한다: 193,311개의 흉부 방사선 사진과 1,625개의 3D 복부 CT를 췌관 선암종으로 라벨링.
• 프라이버시 보존(DP) 방법과 비프라이빗 기준선을 사용하여 심층 CNN을 학습한다.
• AUROC 및 공정성 측정치(Pearson의 r, Statistical Parity Difference)로 성능을 평가한다.
• DP 학습이 정확도를 저하시키는지와 인구통계학적 격차를 증폭시키는지 분석한다.
• 현실적인 임상 데이터 조건에서 결과를 보고한다.

실험 결과

연구 질문

• RQ1 차등 프라이버시가 대규모 의료 영상 작업에서 진단 정확도(AUROC)에 어떤 영향을 미치는가?
• RQ2 프라이버시 보존 학습이 연령, 성별 또는 동반질환 요인에 따른 차별을 증폭시키는가 아니면 완화시키는가?
• RQ3 현실 세계의 임상 데이터 세트에서 프라이버시 보존 모델이 공정성과 정확도를 심각하게 손상시키지 않고 실행 가능한가?

주요 결과

• DP 학습은 비프라이빗 모델보다 정확도가 더 낮게 나타난다.
• DP 학습은 대체로 연령, 성별 또는 동반질환에 대한 차별을 증폭하지 않는다.
• 현실 세계의 임상 데이터에서 프라이버시 보존 진단 DL 모델이 뛰어난 진단 정확도와 공정성을 달성할 수 있음을 입증한다.