[논문 리뷰] Development and Validation of ML-DQA -- a Machine Learning Data Quality Assurance Framework for Healthcare

Mark Sendak, Gaurav Sirdeshmukh외 21명|arXiv (Cornell University)|2022. 08. 04.

Electronic Health Records Systems인용 수 8

한 줄 요약

이 논문은 다양한 임상 프로젝트에서 실생활 의료 데이터의 표준화 및 검증을 위해 설계된 기계학습 기반 데이터 품질 보증 프레임워크인 ML-DQA를 소개한다. 247,536명의 환자를 포함한 다섯 개의 다국적, 다질환 연구에 적용된 ML-DQA는 자동화된 규칙 기반 변환, 통합된 데이터 요소 매핑, 임상적 심의와 같은 일관된 데이터 품질 관리 관행을 가능하게 하였으며, 총 2,999개의 품질 검사와 24份의 보고서를 생성했고, 평균적으로 각 프로젝트당 23.4개의 데이터 요소가 변환되거나 제거되었다.

ABSTRACT

The approaches by which the machine learning and clinical research communities utilize real world data (RWD), including data captured in the electronic health record (EHR), vary dramatically. While clinical researchers cautiously use RWD for clinical investigations, ML for healthcare teams consume public datasets with minimal scrutiny to develop new algorithms. This study bridges this gap by developing and validating ML-DQA, a data quality assurance framework grounded in RWD best practices. The ML-DQA framework is applied to five ML projects across two geographies, different medical conditions, and different cohorts. A total of 2,999 quality checks and 24 quality reports were generated on RWD gathered on 247,536 patients across the five projects. Five generalizable practices emerge: all projects used a similar method to group redundant data element representations; all projects used automated utilities to build diagnosis and medication data elements; all projects used a common library of rules-based transformations; all projects used a unified approach to assign data quality checks to data elements; and all projects used a similar approach to clinical adjudication. An average of 5.8 individuals, including clinicians, data scientists, and trainees, were involved in implementing ML-DQA for each project and an average of 23.4 data elements per project were either transformed or removed in response to ML-DQA. This study demonstrates the importance role of ML-DQA in healthcare projects and provides teams a framework to conduct these essential activities.

연구 동기 및 목표

• 실생활 데이터(RWD)를 사용하는 임상 연구자와 의료 기계학습 팀 간의 데이터 품질 관행의 이질성 문제를 해결하기 위해.
• 임상적 RWD 사용의 경계심과 공공 데이터셋 소비 시 최소한의 검토 사이의 격차를 메우기 위해.
• 다양한 의료 기계학습 프로젝트에서 데이터 품질을 보장하기 위해 실생활 데이터(RWD) 최선의 관행에 기반한 확장 가능하고 재사용 가능한 프레임워크를 개발하기 위해.
• 다양한 프로젝트, 지리적 지역, 의료 조건 간에 데이터 품질 프로세스를 표준화하여 재현 가능성과 신뢰도를 향상시키기 위해.
• 다섯 개의 다른 기계학습 프로젝트에서의 실생활 구현을 통해 프레임워크의 실현 가능성과 영향력을 입증하기 위해.

제안 방법

• 전자 건강 기록(EHR) 내 데이터 요소에 걸쳐 표준화된 데이터 품질 검사를 통합한 모듈식 프레임워크인 ML-DQA를 설계하기 위해.
• 다양한 프로젝트 간에 진단 및 약물 데이터 요소를 정규화하기 위한 공통의 규칙 기반 변환 라이브러리를 구현하기 위해.
• 임상적 및 기술적 기준에 기반하여 특정 데이터 요소에 데이터 품질 검사를 할당하는 통합된 방법을 수립하기 위해.
• 다학제적 팀(임상의사, 데이터 과학자, 수련생 포함)이 참여하는 임상적 심의를 통해 데이터 품질 문제를 일관되게 처리하기 위해.
• 데이터 이질성을 줄이기 위해 표준화된 매핑 전략을 사용해 중복되는 데이터 요소 표현을 그룹화하기 위해.
• 통합된 유틸리티를 통해 데이터 품질 보고서를 자동화하여 다섯 개의 프로젝트에서 총 24건의 품질 보고서를 생성하기 위해.

실험 결과

연구 질문

• RQ1 표준화된 데이터 품질 보증 프레임워크는 실생활 데이터를 사용하는 의료 기계학습 프로젝트에서 일관성과 신뢰도를 어떻게 향상시킬 수 있는가?
• RQ2 다양한 임상 조건, 지리적 지역, 데이터 소스를 가진 실생활 의료 환경에서 통합된 프레임워크는 어느 정도 적용 가능할 수 있는가?
• RQ3 여러 기계학습 프로젝트에 중심화된 데이터 품질 프레임워크를 적용할 때 도출되는 핵심 재사용 가능한 관행은 무엇인가?
• RQ4 다학제적 팀(임상의사, 데이터 과학자, 수련생 포함)의 참여가 데이터 품질 보증의 구현 및 효과성에 어떤 영향을 미치는가?
• RQ5 ML-DQA를 다수의 프로젝트에서 적용함으로써 달성할 수 있는 측정 가능한 데이터 품질 향상 및 변환 수준은 무엇인가?

주요 결과

• ML-DQA는 두 개의 지리적 지역과 여러 질환을 포함한 다섯 개의 기계학습 프로젝트에서 247,536명의 환자에게 성공적으로 적용되었다.
• 총 2,999개의 데이터 품질 검사가 수행되었고, 24건의 품질 보고서가 생성되어 체계적인 데이터 검증이 이루어졌음을 입증했다.
• ML-DQA에 의해 식별된 데이터 품질 문제에 대응하여 평균적으로 각 프로젝트당 23.4개의 데이터 요소가 변환되거나 제거되었다.
• 다섯 가지 일반화 가능한 데이터 품질 관행이 도출되었다: 표준화된 데이터 요소 그룹화, 자동화된 진단/약물 매핑, 공유된 규칙 기반 변환 라이브러리, 통합된 검사 할당, 일관된 임상 심의.
• 평균적으로 각 프로젝트당 5.8명의 인원(임상의사, 데이터 과학자, 수련생 포함)이 ML-DQA의 구현에 참여하여 강력한 다학제적 협업이 이루어졌음을 나타냈다.
• 프레임워크는 이질적인 프로젝트 간에도 일관되고 재현 가능한 데이터 품질 관행을 가능하게 하여 데이터 이질성을 크게 감소시키고 모델의 신뢰도를 향상시켰다.