[논문 리뷰] Temporal Convolutional Neural Networks for Diagnosis from Lab Tests

Narges Razavian, David Sontag|arXiv (Cornell University)|2015. 11. 25.

Machine Learning in Healthcare참고 문헌 7인용 수 49

한 줄 요약

이 논문은 3년간의 18종의 일반적인 혈액검사 결과를 기반으로, 보정된 검사 데이터와 이진 관측 마스크를 활용하여 171종의 질병을 최대 3개월 전에 예측하는 다중 해상도 시간 컨volution 신경망(TCN)을 제안한다. 이 방법은 보정된 다변량 커널 회귀를 통한 미분 가능(imputing)과 다중 작업 학습을 위한 공유 구성 요소를 통한 엔드 투 엔드 학습을 통해 생물학적으로 의미 있는 시간적 질병 서명을 학습함으로써 표준 기준 모델을 능가한다.

ABSTRACT

Early diagnosis of treatable diseases is essential for improving healthcare, and many diseases' onsets are predictable from annual lab tests and their temporal trends. We introduce a multi-resolution convolutional neural network for early detection of multiple diseases from irregularly measured sparse lab values. Our novel architecture takes as input both an imputed version of the data and a binary observation matrix. For imputing the temporal sparse observations, we develop a flexible, fast to train method for differentiable multivariate kernel regression. Our experiments on data from 298K individuals over 8 years, 18 common lab measurements, and 171 diseases show that the temporal signatures learned via convolution are significantly more predictive than baselines commonly used for early disease diagnosis.

연구 동기 및 목표

• 종단적이고 희박하며 비정기적으로 측정된 혈액검사 데이터를 활용하여 다수의 치료 및 예방 가능한 질병의 조기 진단을 가능하게 하는 딥 러닝 모델을 개발하는 것.
• 의료 이용 신호(예: 검사 빈도)에서 생물학적으로 의미 있는 시간 패턴을 분리하여 인과적 의료 연구를 지원하고 진단 정확도를 향상시키는 것.
• 시간적 구조를 유지하면서 다변량 비동기 시간 시리즈에 대해 미분 가능하고 빠르게 학습 가능한 보정 방법을 설계하는 것.
• 실제 전자 의무기록 데이터에서 표준 기준 모델(예: 로지스틱 회귀 및 다층 퍼셉트론)과 비교하여 학습된 시간적 서명의 예측 능력을 평가하는 것.
• 다중 해상도 TCN이 제한된 혈액검사 데이터로부터 질병 발병 패턴을 효과적으로 학습할 수 있음을 입증하여, 확장 가능하고 비용 효율적인 조기 간병 프로그램을 가능하게 하는 것.

제안 방법

• 171종의 질병에 대해 공유 레이어를 활용한 다중 작업 학습을 위한 다중 해상도 TCN 아키텍처를 사용하여 다중 질환의 동시 예측을 가능하게 한다.
• 이중 채널 입력을 적용: 하나는 보정된 연속적인 혈액검사 값(다양한 다변량 커널 회귀를 통한), 다른 하나는 검사가 수행된 시점을 나타내는 이진 관측 마스크.
• 다양한 다변량 비동기 시간 시리즈에 대해 확장 가능하고 빠른 스케일링이 가능한, 다중성 비모수적 커널 회귀를 통한 보정을 적용한다.
• 가중치가 부여된 음의 로그우도 손실 함수를 사용하여 엔드 투 엔드로 모델을 학습함으로써 보정 및 예측 구성 요소의 공동 최적화를 허용한다.
• 변동 길이의 환자 기록을 처리하기 위해 슬라이딩 윈도우 방식을 적용하며, 각 시점에서 3개월 이내의 질병 발병을 예측한다.
• 모든 완전 연결 및 컨볼루션 레이어에서 훈련 안정성과 일반화 성능 향상을 위해 배치 정규화와 드롭아웃을 구현한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망은 희박하고 비정기적으로 측정된 혈액검사 데이터로부터 생물학적으로 의미 있는 시간적 서명을 학습하여 기존 임상 방법보다 조기에 질병 발병을 예측할 수 있는가?
• RQ2 검사 빈도를 나타내는 별도의 관측 마스크를 포함할 경우, 순수하게 보정된 값이나 원시 데이터만을 사용한 경우와 비교해 예측 성능에 어떤 영향을 미치는가?
• RQ3 다양한 다변량 커널 회귀를 통한 보정 방법이 전통적인 보정 방법보다 질병 예측에 관련된 시간 패턴을 얼마나 잘 유지하는가?
• RQ4 표준 피드포워드 또는 순환 구조와 비교해 다중 해상도 컨볼루션은 제한된 혈액검사 데이터로부터 질병 진행 패턴을 얼마나 잘 포착하는가?
• RQ5 18종의 일반 혈액검사와 3년간의 기록만으로 예측 가능한 질병은 무엇이며, 각각의 AUC는 어느 정도 도달할 수 있는가?

주요 결과

• 제안된 TCN 모델은 심부전, 당뇨병, 전립선암과 같은 주요 질환을 포함한 171종의 질병에 대해 표준 기준 모델(예: 최대값에 대한 로지스틱 회귀, 다층 퍼셉트론)보다 유의미하게 높은 AUC 점수를 기록하여 조기 진단 성능을 향상시켰다.
• 이중 채널 입력(보정된 값 + 관측 마스크)이 원시 데이터를 사용한 모델과 유사한 예측 성능을 달성하여, 보정 방법이 의료 이용 패턴에서 생물학적 신호를 효과적으로 분리함을 입증했다.
• 심장, 신장, 간 및 호르몬 관련 질환과 같은 많은 질환들에 대해, 18종의 일반 혈액검사만으로도 최소 3개월 전에 높은 정확도(AUC > 0.85)로 발병 가능성을 예측할 수 있었다.
• 다변량 커널 회귀 기반의 미분 가능 보정 방법은 단변량 데이터에 대해 가우시안 프로세스와 경쟁 성능을 보였으며, 다변량 비동기 시간 시리즈에 대해서도 훨씬 더 빠르고 확장 가능한 성능을 제공했다.
• 모델이 다중 해상도 시간 패턴을 학습할 수 있었기에 기저 상태에서의 미세한 장기적 이탈을 포착할 수 있었으며, 이는 조기 진단에 매우 중요한 요소였다.
• 결과적으로, 이 모델은 현재 임상 관행이 허용하는 것보다 빠르게 고위험 환자를 식별할 수 있어 대규모 비용 효율적인 위험 분류 프로그램을 지원할 수 있음을 시사한다.