[논문 리뷰] Preserving privacy in domain transfer of medical AI models comes at no performance costs: The integral role of differential privacy

Soroosh Tayebi Arasteh, Mahshad Lotfinia외 7명|arXiv (Cornell University)|2023. 06. 10.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 4

한 줄 요약

이 논문은 의료 AI 모델의 도메인 전이 과정에서 미분적 비밀유지(DP)를 적용해도 높은 비밀유지 수준(ε ≈ 1)에서도 성능에 유의미한 손실가 발생하지 않음을 입증한다. 다섯 기관의 59만 건이 넘는 흉부 X선 영상을 사용하여, 저자들은 DP를 강화한 도메인 전이가 다섯 가지 질환에 대해 비-DP 방법과 유사한 진단 정확도를 달성함을 보여주었으며, 거의 모든 하위군에서 AUC 차이가 1% 미만이었다.

ABSTRACT

Developing robust and effective artificial intelligence (AI) models in medicine requires access to large amounts of patient data. The use of AI models solely trained on large multi-institutional datasets can help with this, yet the imperative to ensure data privacy remains, particularly as membership inference risks breaching patient confidentiality. As a proposed remedy, we advocate for the integration of differential privacy (DP). We specifically investigate the performance of models trained with DP as compared to models trained without DP on data from institutions that the model had not seen during its training (i.e., external validation) - the situation that is reflective of the clinical use of AI models. By leveraging more than 590,000 chest radiographs from five institutions, we evaluated the efficacy of DP-enhanced domain transfer (DP-DT) in diagnosing cardiomegaly, pleural effusion, pneumonia, atelectasis, and in identifying healthy subjects. We juxtaposed DP-DT with non-DP-DT and examined diagnostic accuracy and demographic fairness using the area under the receiver operating characteristic curve (AUC) as the main metric, as well as accuracy, sensitivity, and specificity. Our results show that DP-DT, even with exceptionally high privacy levels (epsilon around 1), performs comparably to non-DP-DT (P>0.119 across all domains). Furthermore, DP-DT led to marginal AUC differences - less than 1% - for nearly all subgroups, relative to non-DP-DT. Despite consistent evidence suggesting that DP models induce significant performance degradation for on-domain applications, we show that off-domain performance is almost not affected. Therefore, we ardently advocate for the adoption of DP in training diagnostic medical AI models, given its minimal impact on performance.

연구 동기 및 목표

• 의료 AI 모델의 도메인 전이 과정에서 미분적 비밀유지(DP)가 성능을 떨어뜨리는지 평가하기 위해.
• 다중기관 의료 영상 AI 모델에서 비밀유지와 진단 정확도 사이의 상호 교환 관계를 평가하기 위해.
• DP가 이방(외부) 의료 영상 분류에서 인구 통계적 하위군 간 공정성을 유지하는지 조사하기 위해.
• 고비밀유지 DP 설정(ε ≈ 1)이 실제 임상 환경에서의 임상적 유용성을 유지할 수 있는지 판단하기 위해.
• 진단 성능에 손상을 주지 않고도 의료 AI 학습 파이프라인에 DP를 통합할 것을 주장하기 위해.

제안 방법

• 다섯 기관의 59만 건이 넘는 흉부 레이저 영상으로 구성된 대규모 다기관 데이터셋을 기반으로 비전 트랜스포머 기반 모델을 학습시켰다.
• 비밀유지 수준을 정밀하게 조절한 노이즈 주입을 통해 도메인 전이 단계에서 미분적 비밀유지를 적용하였다(ε ≈ 1).
• 학습 과정에서 사용되지 않은 기관의 데이터를 이용해 외부 검증을 수행하여 실제 임상 환경의 구현을 시뮬레이션하였다.
• 심부전, 흉막효모, 폐렴, 기흉, 건강한 대상 등 다섯 가지 진단 과제에 대해 AUC, 정확도, 민감도, 특이도 등의 표준 지표를 사용해 모델 성능을 평가하였다.
• 모든 과제와 인구 통계적 하위군에서 DP를 강화한 도메인 전이(DP-DT)와 비-DP 도메인 전이(non-DP-DT)를 비교하였다.
• 다양한 인구 집단에서의 공정성과 개인정보 보호 성능의 일관성을 확보하기 위해 하위군 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 도메인 전이 과정에서 미분적 비밀유지를 적용할 경우 의료 영상 모델의 진단 성능이 떨어지는가?
• RQ2 비-DP 도메인 전이(non-DP-DT) 대비 DP-DT의 외부 검증 성능은 어떻게 비교되는가? (학습에 사용되지 않은 기관에서의 검증 기준)
• RQ3 고비밀유지 DP(ε ≈ 1)가 AUC, 정확도, 민감도, 특이도 등 다양한 진단 과제에 미치는 영향은 무엇인가?
• RQ4 DP-DT는 non-DP-DT 대비 인구 통계적 하위군 간 공정성을 유지하는가?
• RQ5 의료 AI에 있어 DP를 효과적으로 통합할 수 있는가? 이는 이방 환경에서 임상적 유용성에 손상을 주지 않는다.

주요 결과

• DP-DT는 다섯 가지 진단 과제 전반에서 비-DP-DT와 통계적으로 구별할 수 없을 정도의 AUC 값을 기록하였다(p > 0.119, 모든 비교에서).
• DP-DT와 non-DP-DT 간 최대 AUC 차이는 거의 모든 하위군과 과제에서 1% 미만이었다.
• 고비밀유지 DP 설정 하에서 어떤 진단 조건에 대해서도 민감도, 특이도, 정확도에 유의미한 성능 저하가 관찰되지 않았다.
• DP-DT는 다양한 인구 통계적 하위군에서 일관된 성능을 유지하여 공정성에 미치는 영향이 최소화됨을 시사하였다.
• 결과적으로, 이 연구는 의료 AI에 대해 대규모로 DP를 적용하더라도 이방 환경에서 진단 정확도에 손상을 주지 않음을 입증하였다.
• 연구는 개인정보 보호와 성능이 의료 AI 도메인 전이에서 상호 배타적이지 않음을 실증적으로 입증하며, 임상 AI 파이프라인에 DP의 도입을 지지한다.