[논문 리뷰] The Dependence of Machine Learning on Electronic Medical Record Quality

Van Long Ho, David Ledbetter외 2명|PubMed|2017. 03. 23.

Machine Learning in Healthcare참고 문헌 18인용 수 27

한 줄 요약

이 연구는 전자 의무기록(EMR) 품질 변동—예를 들어 훈련 데이터 크기, 입력 유형, 약물 데이터 정확도—가 중환자실(ICU) 사망 예측에서 기계학습 성능에 미치는 영향을 조사한다. 두 소아 ICU의 EMR 데이터를 사용하여, 다층 퍼셉트론이 순환 신경망(RNN)의 순차 처리 능력에도 불구하고 다양한 환자 집단에서 더 잘 일반화됨을 발견한다.

ABSTRACT

There is growing interest in applying machine learning methods to Electronic Medical Records (EMR). Across different institutions, however, EMR quality can vary widely. This work investigated the impact of this disparity on the performance of three advanced machine learning algorithms: logistic regression, multilayer perceptron, and recurrent neural network. The EMR disparity was emulated using different permutations of the EMR collected at Children's Hospital Los Angeles (CHLA) Pediatric Intensive Care Unit (PICU) and Cardiothoracic Intensive Care Unit (CTICU). The algorithms were trained using patients from the PICU to predict in-ICU mortality for patients on a held out set of PICU and CTICU patients. The disparate patient populations between the PICU and CTICU provide an estimate of generalization errors across different ICUs. We quantified and evaluated the generalization of these algorithms on varying EMR size, input types, and fidelity of data.

연구 동기 및 목표

• 전자 의무기록(EMR) 품질 변동이 중증 치료 환경에서 기계학습 모델 성능에 미치는 영향을 평가하기 위해.
• 훈련 데이터 크기, 입력 변수 유형, 약물 데이터 정확도의 차이가 다양한 ICU 간 모델 일반화에 미치는 영향을 평가하기 위해.
• 로지스틱 회귀, 다층 퍼셉트론, 순환 신경망 모델의 예측 성능에 대한 내재적 및 외부 임상 변수 및 다양한 약물 인코딩 정확도의 기여도를 비교하기 위해.
• 한 ICU에서 훈련된 모델이 다른 ICU로의 일반화 성능이 얼마나 효과적으로 이루어지는지 평가하기 위해.
• 내부 및 외부 임상 변수와 다양한 약물 인코딩 정확도가 모델 성능에 기여하는 정도를 정량화하기 위해.

제안 방법

• Children’s Hospital Los Angeles PICU 및 CTICU(2002–2016)의 익명화된 EMR를 바탕으로 EMR 품질 격차를 시뮬레이션하였다.
• 데이터 정제(오류 수정, 변수 집계), 데이터 피봇팅(장기형에서 넓은 형식으로 변환), 표준화(z-점수를 통한 생체지표/검사값 표준화, [0,1] 정규화를 통한 치료 항목 표준화)를 통해 데이터 전처리를 수행하였다.
• 생체지표에 대해 전진 채우기(imputation)를 적용하고, 누락된 치료 항목에는 0으로 채우기 하였다. 표준화를 통해 채운 값이 인구집단 평균을 반영하도록 하였다.
• 기관 간 일반화 성능 평가를 위해 데이터를 훈련(50% PICU), 검증(25% PICU), 테스트(25% PICU 및 전체 CTICU)로 분할하였다.
• AUROC를 주요 평가 지표로 사용하여, 로지스틱 회귀, 다층 퍼셉트론, 순환 신경망 세 모델을 활용해 중환자실 사망 예측에 대해 훈련 및 평가하였다.
• 훈련 데이터 크기(10%에서 100%), 입력 유형(내재적, 외부, 기본), 약물 인코딩 정확도(실수형 대비 이진형 대비 MeSH 코드화)를 체계적으로 변화시켜 실험하였다.

실험 결과

연구 질문

• RQ1 훈련 데이터 세트 크기를 줄일 경우, 로지스틱 회귀, 다층 퍼셉트론, 순환 신경망 모델의 중환자실 사망 예측 성능에 어떤 영향을 미치는가?
• RQ2 내재적, 외부, 통합된 입력 유형의 차이가 서로 다른 ICU 환자 집단 간 모델 성능 및 일반화 능력에 어떤 영향을 미치는가?
• RQ3 실수형, 이진형, MeSH 코드화된 약물 데이터 정확도의 변화가 모델 예측 정확도 및 내구성에 어떤 영향을 미치는가?
• RQ4 PICU에서 훈련된 모델이 EMR 특성이 다른 다른 ICU(CTICU)로 이식될 경우 성능이 어떻게 저하되는가?
• RQ5 순환 신경망이 순차적 모델링 능력을 지녔음에도 불구하고, 교차 ICU 일반화에서 다층 퍼셉트론에 비해 성능이 열 劣하는 이유는 무엇인가?

주요 결과

• 모든 모델이 훈련 데이터가 감소함에 따라 성능 저하를 보였지만, 최고 성능을 낸 모델(MLP)은 훈련 데이터의 10%(840건의 사례)에서도 PICU 테스트 세트에서 AUROC 0.867을 달성하였다.
• CTICU 환자 집단에 대해 테스트한 결과, 다층 퍼셉트론이 순환 신경망보다 유의미하게 더 잘 일반화되었으며, RNN의 순차 처리 능력에도 불구하고 더 높은 AUROC를 기록하였다.
• MeSH로 인코딩된 약물 정보를 사용할 경우 RNN의 성능이 CTICU 테스트 세트에서 5% 감소하여, PICU 훈련 데이터에서 유래한 외부 변수에 대한 과적합이 의심됨을 시사하였다.
• 모델 입력에서 외부 변수를 제거했을 때 성능 저하가 미미하여, 내재적 생체지표 및 검사값이 중증도 예측에 가장 큰 기여를 했다고 판단됨.
• 실수형 약물 복용량을 이진 표시(유무)로 대체했을 때 성능 저하가 거의 없었으며, 이는 치료의 존재 여부 자체가 충분한 임상 신호를 반영하고 있음을 의미한다.
• RNN이 PICU 훈련 데이터의 10%로 훈련되었을 때 테스트 성능이 뛰어났던 것은 PICU의 치료 패tern에 과적합된 결과였으며, 이는 CTICU 환자 집단으로의 일반화를 저해하였다.