[논문 리뷰] Combining LSTM and Latent Topic Modeling for Mortality Prediction

Yohan Jo, Lisa Lee외 1명|arXiv (Cornell University)|2017. 09. 08.

Machine Learning in Healthcare참고 문헌 11인용 수 25

한 줄 요약

이 논문은 임상 노트를 사용하여 중환자 실내 환자의 사망 예측을 향상시키기 위해 장기 기억망(LSTM)과 제약 조건이 부여된 은닉 주제 모델을 결합한 공동 LSTM-주제 모델링 아키텍처를 제안한다. 이 모델들은 LDA 기반 기준 모델보다 예측 정확도에서 뚜렷한 성능 향상을 보였지만, 다중 노트 입력에서 발생하는 노이즈로 인해 신경망 가중치에서 학습된 주제는 해석이 어려운 편이다.

ABSTRACT

There is a great need for technologies that can predict the mortality of patients in intensive care units with both high accuracy and accountability. We present joint end-to-end neural network architectures that combine long short-term memory (LSTM) and a latent topic model to simultaneously train a classifier for mortality prediction and learn latent topics indicative of mortality from textual clinical notes. For topic interpretability, the topic modeling layer has been carefully designed as a single-layer network with constraints inspired by LDA. Experiments on the MIMIC-III dataset show that our models significantly outperform prior models that are based on LDA topics in mortality prediction. However, we achieve limited success with our method for interpreting topics from the trained models by looking at the neural network weights.

연구 동기 및 목표

• ICU 사망 예측을 위한 순차적 모델링과 해석 가능한 주제 탐색을 결합한 딥러닝 프레임워크를 개발하기 위해.
• 임상 노트의 시간적 의존성을 활용하여 기존 LDA 기반 모델보다 정확도를 향상시키기 위해.
• LDA 유사 제약 조건을 가진 신경망 주제 모델을 설계하여 사망과 관련된 주제의 해석 가능성을 높이기 위해.
• 신경망 가중치가 LDA와 유사한 의미 있고 통합된 주제를 도출할 수 있는지 조사하기 위해.
• 주제의 해석 가능성에 대한 한계를 규명하고, 주제 품질 향상을 위한 데이터 전처리 전략을 제안하기 위해.

제안 방법

• 두 개의 인코더 아키텍처를 사용: LSTM 층은 순차적 임상 노트를 처리하여 사망 예측을 수행하고, 주제 모델링 층은 동일한 노트들로부터 은닉 주제 분포를 학습한다.
• LDA를 영감으로 삼은 제약 조건이 부여된 단일층 네트워크를 사용하여 주제의 일관성과 해석 가능성을 보장한다.
• 세 가지 모델 변형을 탐색: 인코더 전용, 인코더+디코더, 인코더+트랜스코더+디코더로 복잡도와 LDA 유사 희박성 제약 조건이 점차 증가한다.
• t-SNE 시각화를 적용하여 모델의 잠재 문서 벡터 클러스터를 LDA의 결과와 비교하여 주제 품질을 평가한다.
• 기울기 기반 중요도 분석을 통해 각 LSTM 은닉 노드에 가장 큰 영향을 주는 단어를 특정하여 예측 기능을 해석하고자 한다.
• 희귀어/빈도가 높은 단어 제거 및 1자 타이핑 오류 수정과 같은 데이터 전처리 단계를 제안하여 모델의 상위 가중치 단어의 해석 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 공동 LSTM-주제 모델링 아키텍처는 LDA 기반 모델 대비 사망 예측 정확도를 향상시킬 수 있는가?
• RQ2 주제 모델링 층의 신경망 가중치가 LDA와 유사한 해석 가능하고 통합된 주제를 생성할 수 있는 정도는 어느 정도인가?
• RQ3 모델의 잠재 문서 표현은 LDA 주제와 비교해 클러스터링 품질 측면에서 어떻게 다른가?
• RQ4 개별 단어는 LSTM 은닉 상태에 어떤 영향을 미치며, 이를 통해 사망 예측 단어를 식별할 수 있는가?
• RQ5 타이핑 오류 수정 및 어휘 필터링과 같은 전처리 기법이 모델 가중치에서 유의미한 주제의 해석 가능성을 향상시킬 수 있는가?

주요 결과

• 제안된 모델들은 MIMIC-III 데이터셋에서 LDA 기반 기준 모델보다 사망 예측 정확도에서 뚜렷한 성능 향상을 보였다.
• 인코더+트랜스코더+디코더 변형은 인코더 전용 모델보다 LDA 주제에 더 가까운 주제 클러스터를 생성하여 주제의 일관성 향상을 시사한다.
• 인코더 및 디코더 층에서 상위 가중치를 가진 노드와 연관된 단어들은 종종 타이핑 오류 또는 희귀어였으며, 이는 학습된 주제의 해석 가능성 부족을 시사한다.
• t-SNE 시각화 결과, LSTM+E+D 모델은 LSTM+E 모델보다 LDA와 더 가까운 문서 벡터 클러스터를 생성함으로써 주제 품질 향상을 뒷받침한다.
• 모델의 성능은 노이즈가 많은 입력 데이터—특히 동일한 시점에 서로 다른 유형의 임상 노트가 결합된 데이터—로 인해 제한된다.
• 희귀어/빈도가 높은 단어 제거 및 1자 타이핑 오류 수정과 같은 전처리 단계는 모델의 상위 가중치 단어의 해석 가능성을 향상시킬 수 있다.