[논문 리뷰] Medical Diagnosis From Laboratory Tests by Combining Generative and Discriminative Learning

Shiyue Zhang, Pengtao Xie외 2명|arXiv (Cornell University)|2017. 11. 12.

Machine Learning in Healthcare참고 문헌 29인용 수 9

한 줄 요약

이 논문은 종단적이고 불완전한 임상 검사 데이터를 모델링하기 위해 변동형 순환 신경망(VRNN)을 활용하는 생성적 모델과 질병 진단을 위한 판별적 신경망을 통합한 공동 생성-판별적 딥러닝 모델, VRNN+NN을 제안한다. 이 모델은 기준 모델들보다 유의미하게 높은 진단 정확도를 보이며(p < 0.001), 더 정보가 풍부한 표현을 학습하고, 엔드 투 엔드로 모든 작업을 공동 최적화함으로써 결측치 처리 성능도 뛰어나다.

ABSTRACT

A primary goal of computational phenotype research is to conduct medical diagnosis. In hospital, physicians rely on massive clinical data to make diagnosis decisions, among which laboratory tests are one of the most important resources. However, the longitudinal and incomplete nature of laboratory test data casts a significant challenge on its interpretation and usage, which may result in harmful decisions by both human physicians and automatic diagnosis systems. In this work, we take advantage of deep generative models to deal with the complex laboratory tests. Specifically, we propose an end-to-end architecture that involves a deep generative variational recurrent neural networks (VRNN) to learn robust and generalizable features, and a discriminative neural network (NN) model to learn diagnosis decision making, and the two models are trained jointly. Our experiments are conducted on a dataset involving 46,252 patients, and the 50 most frequent tests are used to predict the 50 most common diagnoses. The results show that our model, VRNN+NN, significantly (p&lt;0.001) outperforms other baseline models. Moreover, we demonstrate that the representations learned by the joint training are more informative than those learned by pure generative models. Finally, we find that our model offers a surprisingly good imputation for missing values.

연구 동기 및 목표

• 전자 건강 기록에서 종단적이고 불완전하며 다변량 임상 검사 데이터로부터 질병을 진단하는 데 도전하는 데 목적이 있다.
• 결측치 보간, 시간적 패턴 탐지, 질병 예측을 공동 최적화하여 상호보완적 관계를 활용한다.
• 생성적 모델링(강건한 표현 및 보간 기능)의 장점을 활용하고 판별적 학습(작업에 특화된 결정 기반)의 장점을 결합함으로써 진단 성능을 향상시킨다.
• 공동 학습이 고립된 생성적 또는 판별적 모델 학습보다 더 나은 특징 표현을 도출한다는 것을 입증한다.

제안 방법

• 다변량 임상 검사 시계열 데이터의 시간적 의존성과 결측치를 보간하기 위해 깊이 있는 변동형 순환 신경망(VRNN)을 생성적 구성요소로 사용한다.
• VRNN이 학습한 표현을 바탕으로 진단을 예측하기 위해 판별적 전방향 신경망(NN)을 활용한다.
• VRNN과 NN 구성요소를 엔드 투 엔드 방식으로 공동으로 학습함으로써 backpropagation이 표현 학습과 보간을 동시에 지도할 수 있도록 한다.
• 변동형 추론 프레임워크를 활용하여 불완전한 임상 데이터의 복잡한 시간적 패턴을 포괄하는 구조화된 잠재 공간을 학습한다.
• 학습 중에 잠재 변수의 학습된 후행 분포에서 샘플링하여 결측치를 보간함으로써 결측치 처리를 원칙적으로 다룰 수 있도록 한다.
• 표현 학습과 진단에 동일한 아키텍처를 사용함으로써 보간 및 분류 목표의 공유 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성적 모델(VRNN)과 판별적 모델(NN)을 공동으로 학습하는 것이 별도로 학습하거나 기준 모델보다 진단 성능을 향상시키는가?
• RQ2 생성적 모델링의 통합이 임상 진단을 위한 학습된 표현의 품질을 향상시키는가?
• RQ3 제안된 모델이 히우리스틱 또는 비생성적 방법에 비해 얼마나 뛰어난 결측치 보간 성능을 보이는가?
• RQ4 희귀하거나 불균형한 진단에 대해 모델은 어떤 성능을 보이며, 특정 질환에서 성능이 제한되는 요인은 무엇인가?
• RQ5 단독 모델보다 공동 아키텍처가 불완전한 종단적 임상 검사 데이터의 복잡한 시간적 패턴을 더 잘 포착할 수 있는가?

주요 결과

• VRNN+NN 모델은 모든 기준 모델보다 유의미하게 높은 진단 정확도를 보이며(p < 0.001), 통계적으로 유의미한 승리함을 입증한다.
• VRNN과 NN의 공동 학습은 VRNN을 단독으로 학습하는 것보다 더 정보가 풍부한 표현을 도출함을 확인하였으며, 이는 후속 진단 작업에서의 성능 향상으로 나타났다.
• 히우리스틱 방법에 비해 더 뛰어난 결측치 보간 성능을 달성하였으며, 표 3의 직접적 증거로 더 낮은 보간 오차가 확인되었다.
• 생성적 모델링의 개선 효과는 결측치가 더 심각한 시간적 시퀀스(VRNN)에서 가장 두드러지게 나타나, 모델이 비정규적인 종단적 데이터를 다루는 데 강점을 지닌다는 것을 확인한다.
• 비시간적 모델인 VAE+NN 변형은 더 적은 향상 효과를 보이며, 이는 시간적 모델링이 복잡한 임상 패턴을 포착하는 데 핵심적임을 시사한다.
• 다양한 진단에 대해 성능 변동성이 높은 편이며, 일부 질환(예: 음성균 세균혈증)은 F1 스코어가 거의 0에 가까워, 희귀하거나 복잡한 상태를 탐지하는 데 한계가 있음을 시사한다.