[논문 리뷰] A Multifaceted Benchmarking of Synthetic Electronic Health Record Generation Models

Chao Yan, Yan Yao외 6명|arXiv (Cornell University)|2022. 08. 02.

Machine Learning in Healthcare인용 수 6

한 줄 요약

이 논문은 유티리티 및 프라이버시 메트릭을 기반으로 합성 전자 의료기록(EHR) 생성 모델을 평가하기 위한 다면적 벤치마킹 프레임워크를 소개한다. 두 개의 학술 의료기관에서 확보한 데이터를 사용하여, 일관된 유티리티-프라이버시 트레이드오프가 존재하고, 모든 용도에서 뛰어난 성능을 보이는 단일 모델은 존재하지 않음을 입증하며, 이는 맥락 기반의 모델 선택이 중요함을 강조한다.

ABSTRACT

Synthetic health data have the potential to mitigate privacy concerns when sharing data to support biomedical research and the development of innovative healthcare applications. Modern approaches for data generation based on machine learning, generative adversarial networks (GAN) methods in particular, continue to evolve and demonstrate remarkable potential. Yet there is a lack of a systematic assessment framework to benchmark methods as they emerge and determine which methods are most appropriate for which use cases. In this work, we introduce a generalizable benchmarking framework to appraise key characteristics of synthetic health data with respect to utility and privacy metrics. We apply the framework to evaluate synthetic data generation methods for electronic health records (EHRs) data from two large academic medical centers with respect to several use cases. The results illustrate that there is a utility-privacy tradeoff for sharing synthetic EHR data. The results further indicate that no method is unequivocally the best on all criteria in each use case, which makes it evident why synthetic data generation methods need to be assessed in context.

연구 동기 및 목표

• 합성 EHR 생성 모델에 대한 체계적인 평가 프레임워크 부족 문제를 해결하기 위해.
• 실제 EHR 데이터에서 다양한 용도에 걸쳐 다수의 생성 모델의 성능을 평가하기 위해.
• 합성 EHR에서 데이터 유티리티와 프라이버시 보호 간의 트레이드오프를 정량화하기 위해.
• 향후 모델 개발 및 선택에 적용 가능한 일반화 가능한 벤치마킹 프레임워크를 제공하기 위해.

제안 방법

• 저자들은 유티리티 및 프라이버시 메트릭을 모두 포함하는 다면적 벤치마킹 프레임워크를 설계하였다.
• 학술 의료기관에서 확보한 두 개의 대규모 실존 EHR 데이터셋을 기반으로, GAN 기반 접근 방식을 포함한 다수의 기계학습 기반 EHR 생성 모델을 평가하였다.
• 유티리티는 통계적 유사성, 예측 모델 성능, 데이터 구조 유지 정도를 통해 측정되었다.
• 프라이버시는 멤버십 인식 공격 및 기타 프라이버시 泄露 탐지 기법을 사용하여 평가되었다.
• 임상 예측 및 데이터 공유와 같은 다양한 용도에서의 평가를 지원하는 프레임워크이다.
• 결과는 집계 및 분석되어 다양한 조건 하에서의 모델 강점과 약점을 규명하였다.

실험 결과

연구 질문

• RQ1 다양한 합성 EHR 생성 모델의 핵심 유티리티 및 프라이버시 메트릭에서의 상대적 성능은 어떠한가?
• RQ2 다양한 기계학습 모델과 용도에서 유티리티-프라이버시 트레이드오프는 어떻게 달라지는가?
• RQ3 특정 임상 예측 과제에서 합성 EHR 데이터를 사용할 때 가장 우수한 성능을 보이는 모델은 무엇인가?
• RQ4 합성 EHR가 실제 EHR의 통계적 및 구조적 특성을 얼마나 잘 유지할 수 있는가?
• RQ5 멤버십 인식 공격를 고려할 때 프라이버시 위험은 모델 간에 어떻게 달라지는가?

주요 결과

• 모든 평가된 모델에서 일관된 유티리티-프라이버시 트레이드오프가 존재하며, 일반적으로 유티리티가 높을수록 프라이버시 위험이 증가한다.
• 모든 메트릭과 용도에서 다른 모든 모델을 능가하는 단일 모델은 존재하지 않으며, 이는 맥락 기반 최적의 모델 선택이 필요함을 시사한다.
• GAN 기반 모델은 다른 생성 접근 방식에 비해 일반적으로 높은 유티리티를 달성하지만, 더 큰 프라이버시 泄露를 보여준다.
• 장기적인 환자 궤적과 임상 코딩 패턴을 유지하는 모델은 후속 예측 과제에서 더 뛰어난 성능을 보였다.
• 프라이버시 메트릭은 멤버십 인식 공격가 합성 데이터에서 개인을 성공적으로 재식별할 수 있음을 드러내었으며, 특히 모델이 너무 정확할 경우 더욱 심각한 경향이 있었다.
• 벤치마킹 프레임워크는 모델별 강점과 약점을 효과적으로 규명하여, 특정 생물의학적 응용에 적합한 모델 선택을 지원하였다.