[논문 리뷰] Neural Document Embeddings for Intensive Care Patient Mortality Prediction.

Paulina Grnarova, Florian Schmidt외 2명|arXiv (Cornell University)|2016. 12. 01.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 MIMIC-III 데이터베이스의 비정형 임상 노트를 사용하여 중환자 입원 환자의 사망률을 예측하기 위한 컨볼루션 신경망 기반 문서 임베딩 방법을 제안한다. 기존의 잠재 주제 모델 및 일반적인 doc2vec 임베딩과 비교해 유의미한 성능 향상을 보이며, 특히 퇴원 후 사망률 예측에서 두드러진 성과를 기록한다.

ABSTRACT

We present an automatic mortality prediction scheme based on the unstructured textual content of clinical notes. Proposing a convolutional document embedding approach, our empirical investigation using the MIMIC-III intensive care database shows significant performance gains compared to previously employed methods such as latent topic distributions or generic doc2vec embeddings. These improvements are especially pronounced for the difficult problem of post-discharge mortality prediction.

연구 동기 및 목표

• 기존 모델에서 자주 활용되지 않는 비정형 임상 노트를 활용해 중환자 입원 환자의 사망률 예측을 향상시키는 것.
• 특히 도전적인 임상 예측 과제인 퇴원 후 사망률 예측에 도전하는 것.
• 기존 방법과 비교해 더 나은 맥락 민감한 패턴을 포착할 수 있는 임상 텍스트를 위한 효과적인 표현 학습 방법을 개발하는 것.
• 잠재 주제 모델 및 일반적인 doc2vec 임베딩과 같은 기존 기준 모델과의 성능 평가

제안 방법

• 모델은 전체 임상 문서의 조밀하고 분산된 표현(임베딩)을 학습하기 위해 컨볼루션 신경망(CNN) 아키텍처를 활용한다.
• 입력 임상 노트는 토큰화되고, 밀도 높은 벡터로 임bedding된 후, 다양한 필터 크기를 가진 다중 컨볼루션 레이어를 거쳐 局소 n-gram 특징을 포착한다.
• 각 컨볼루션 필터의 출력에 대해 최대 풀링 연산을 적용하여 가장 주목할 만한 특징을 추출하고, 이를 연결하여 고정 길이의 문서 수준 임베딩을 형성한다.
• 학습된 문서 임베딩는 MIMIC-III 데이터셋에서 엔드 투 엔드로 훈련된 후행 분류기의 입력으로 사용되어 사망률 예측에 활용된다.
• 모델은 병원 내 및 퇴원 후 사망률 예측 결과의 정확도를 최적화하기 위해 교차 엔트로피 손실 함수를 사용해 훈련된다.
• 표준 평가 지표인 AUC-ROC를 사용해 잠재 딜리히트 할라이언스(LDA) 및 일반적인 doc2vec 임베딩을 포함한 기준 방법과 비교한다.

실험 결과

연구 질문

• RQ1 컨볼루션 신경망 기반 문서 임베딩 모델이 LDA 및 doc2vec와 같은 전통적 방법보다 중환자 환자 사망률 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 방법은 특히 도전적인 예측 과제인 퇴원 후 사망률 예측에서 얼마나 효과적인가?
• RQ3 학습된 문서 임베딩가 비정형 임상 노트에서 임상적으로 관련된 패턴을 어느 정도 포착하는가?
• RQ4 전역 평균화 또는 풀링 전략과 비교해 국소적 컨볼루션 특징 추출이 임상 텍스트의 표현 학습을 향상시키는가?

주요 결과

• 제안된 컨볼루션 문서 임베딩 방법은 사망률 예측 과제에서 잠재 주제 모델 및 일반적인 doc2vec 임베딩보다 유의미한 성능 향상을 기록한다.
• 성능 향상은 특히 퇴원 후 사망률 예측에서 두드러지며, 모델이 더 우수한 일반화 능력과 강건성을 보여준다.
• 컨볼루션 필터를 통한 임상 텍스트의 국소적이고 계층적인 패턴 포착 능력 덕분에 더 구분력 있는 문서 표현이 가능하다.
• 결과는 딥 러닝 기반 문서 임베딩가 전통적인 분포 기반 또는 얕은 신경망 방법보다 비정형 임상 노트의 복잡하고 미세한 신호를 더 잘 포착할 수 있음을 시사한다.