[논문 리뷰] The Use of Autoencoders for Discovering Patient Phenotypes

Harini Suresh, Peter Szolovits외 1명|arXiv (Cornell University)|2017. 03. 20.

Machine Learning in Healthcare참고 문헌 14인용 수 21

한 줄 요약

이 논문은 종단적 ICU 생리적 데이터에서 저차원의 환자별 임베딩을 학습하기 위해 자동에코더—특히 LSTMs를 사용한 순서 기반 자동에코더—를 제안한다. 이를 통해 기저 환자 표현형을 탐지할 수 있다. 순서 기반 자동에코더는 고정 길이 자동에코더보다 불규칙하고 누락된 데이터가 많은 시계열 데이터를 더 잘 재구성하여 MSE가 낮고 더 강건한 표현을 달성했으며, 특히 길이가 변하는 ICU 체류 기간에서 뛰어난 성능을 보였다.

ABSTRACT

We use autoencoders to create low-dimensional embeddings of underlying patient phenotypes that we hypothesize are a governing factor in determining how different patients will react to different interventions. We compare the performance of autoencoders that take fixed length sequences of concatenated timesteps as input with a recurrent sequence-to-sequence autoencoder. We evaluate our methods on around 35,500 patients from the latest MIMIC III dataset from Beth Israel Deaconess Hospital.

연구 동기 및 목표

• 정적 점수를 초월해 복잡하고 변화하는 생리적 패턴을 포괄하는 비지도적, 데이터 기반의 환자 건강 표현을 개발하기 위해.
• 환자 표현형 분석을 위해 불규칙하게 샘플링되고 누락되며 길이가 변하는 ICU 시계열 데이터를 모델링하는 데 도전하기 위해.
• 자동에코더가 기저 환자 급성도와 임상적 궤적을 반영하는 의미 있는 저차원 임베딩을 학습할 수 있는지 평가하기 위해.
• 고정 길이 대비 순서 기반 자동에코더 아키텍처의 성능을 시계열 재구성 측면에서 비교하기 위해.
• 다양한 ICU 환자 하위집단과 치료 단위 간에 학습된 임베딩의 일반화 능력을 평가하기 위해.

제안 방법

• 환자의 30개 생리적 특징을 시간당으로 집계하고, 시간당 다수의 측정치 평균을 취해 MIMIC-III 데이터베이스에서 추출하였다.
• 누락된 값을 메우기 위해 백필링과 평균 대체를 적용한 후, 병원 사망률에 따라 전략적으로 70/15/15 비율로 훈련/검증/테스트 세트로 분할하였다.
• 단일층 고정 길이, 이중층 고정 길이, 순서 자동에코더의 세 가지 자동에코더 아키텍처를 훈련시켰다. 이는 스택된 LSTM 레이어를 사용하였다.
• 고정 길이 모델의 경우, 4, 16, 32, 64시간 간격의 30개 특징을 하나의 입력 벡터로 연결하고, 밀도층을 통해 10배 압축하였다.
• 순서 자동에코더의 경우, 시간 단위를 순차적으로 인코더 LSTM에 입력하여 고정 길이의 임베딩을 생성한 후, 두 번째 LSTM을 통해 입력 시계열을 재구성하였다.
• 은닉층에는 ReLU 활성화 함수를, 출력층에는 시그모이드 활성화 함수를 사용하였으며, 오버피팅을 방지하기 위해 미니배치 크기 128로 훈련하고 조기 정지 기법을 적용하였다.

실험 결과

연구 질문

• RQ1 LSTM 기반 순서 자동에코더는 고정 길이 자동에코더보다 불규칙하고 누락된 데이터가 많은 ICU 시계열 데이터를 더 효과적으로 재구성할 수 있는가?
• RQ2 생리적 데이터의 다양한 간격(4, 16, 32, 64시간)에서 훈련된 자동에코더의 성능는 어떻게 달라지는가?
• RQ3 다양한 ICU 단위(예: MICU, CCU, SICU)에서 유래한 환자 하위집단 간에 학습된 임베딩의 일반화 능력은 어떠한가?
• RQ4 짧은 체류 기간의 환자에게서 특히, 순서 자동에코더가 고정 길이 모델보다 더 강건하고 노이즈가 적은 재구성 결과를 도출하는가?
• RQ5 학습된 저차원 임베딩이 개입 시점 예측과 같은 후속 임상 예측 작업에 효과적인 표현으로 기능할 수 있는가?

주요 결과

• 모든 간격에서 순서 자동에코더는 단일층 고정 길이 자동에코더보다 더 낮은 평균 제곱오차(MSE)를 기록하여, 더 뛰어난 재구성 성능를 입증하였다.
• 32시간 간격에서 순서 자동에코더는 이중층 고정 길이 자동에코더를 초월했으며, 다양한 ICU 단위에서 유래한 더 작은 전략적 환자 하위집단에서도 더 우수한 일반화 성능를 보였다.
• 32시간 간격을 사용할 경우, 모든 치료 단위 하위집단에서 MSE가 0.08 이하로 유지되어, 인구 집단 전략화에 대한 강건성을 입증하였다.
• 고정 길이 자동에코더에서 재구성된 시계열은 짧은 체류 기간의 경우 벡터 결합 시 0 패딩으로 인해 시계열 끝부분에서 잡음이 발생하는 경향을 보였다.
• 순서 자동에코더는 길이가 변하는 시계열을 내재적으로 모델링할 수 있어, 특히 짧은 ICU 체류 기간 환자에서 더 매끄럽고 시간적으로 일관된 재구성 결과를 도출하였다.
• LSTM가 인코딩 중에 관련 없거나 누락된 입력을 선택적으로 무시할 수 있기 때문에, 순서 자동에코더는 누락된 데이터와 비규칙적 샘플링에 더 강건한 성능를 보였다.