[논문 리뷰] Effective Representations of Clinical Notes

Sébastien Dubois, Nathanael Romano외 3명|arXiv (Cornell University)|2017. 05. 19.

Machine Learning in Healthcare참고 문헌 26인용 수 12

한 줄 요약

이 논문은 제한된 레이블 데이터를 가진 예측 모델링을 향상시키기 위해 전이 학습을 활용한 임베딩 기반 임의의 임상 기록 표현을 제안한다. 대규모 EHR 코퍼스에서 사전 훈련된 임베딩(GloVe)과 RNN을 활용함으로써, 압축된 환자 수준의 표현을 학습하며, 이는 기존의 bag-of-words 및 토픽 모델보다 뚜렷하게 뛰어나며, 특히 훈련 데이터가 부족할 경우(N < 1000)에 유의미한 성능 향상을 보인다.

ABSTRACT

Clinical notes are a rich source of information about patient state. However, using them to predict clinical events with machine learning models is challenging. They are very high dimensional, sparse and have complex structure. Furthermore, training data is often scarce because it is expensive to obtain reliable labels for many clinical events. These difficulties have traditionally been addressed by manual feature engineering encoding task specific domain knowledge. We explored the use of neural networks and transfer learning to learn representations of clinical notes that are useful for predicting future clinical events of interest, such as all causes mortality, inpatient admissions, and emergency room visits. Our data comprised 2.7 million notes and 115 thousand patients at Stanford Hospital. We used the learned representations, along with commonly used bag of words and topic model representations, as features for predictive models of clinical events. We evaluated the effectiveness of these representations with respect to the performance of the models trained on small datasets. Models using the neural network derived representations performed significantly better than models using the baseline representations with small ($N &lt; 1000$) training datasets. The learned representations offer significant performance gains over commonly used baseline representations for a range of predictive modeling tasks and cohort sizes, offering an effective alternative to task specific feature engineering when plentiful labeled training data is not available.

연구 동기 및 목표

• 제한된 레이블 데이터를 가진 고차원적이고 희소한 임상 기록에서 사망, 입원과 같은 임상 이벤트를 예측하는 과제를 해결한다.
• 임의의 임상 기록에 대한 데이터 기반의 환자 수준 표현을 학습함으로써, 과제에 특화된 특징 공학에 의존도를 줄인다.
• 전이 학습이 낮은 데이터 환경에서 표준 기준(예: bag-of-words, 토픽 모델)보다 더 효율적인 표현을 제공할 수 있는지 평가한다.
• 학습된 표현이 최소한의 맞춤 설정으로 다양한 임상 예측 과제에 잘 일반화되는지 입증한다.
• 데이터가 증가할 경우 학습된 표현과 전통적 특징(예: wide and deep 모델)을 조합하는 것이 얼마나 유용한지 평가한다.

제안 방법

• 두 단계 전이 학습 접근법을 사용: 대규모 임상 기록 코퍼스(270만 건의 기록, 11만 5천 명의 환자)에서 사전 훈련하여 의미 있는 표현을 학습한다.
• ‘임bed 및 집계’ 방법 적용: 임상 개념을 고밀도 GloVe 임베딩으로 매핑한 후, 기록 및 환자 수준에서 평균을 내어 고정 길이의 환자 벡터를 형성한다.
• 재귀 신경망(RNN) 아키텍처를 사용하여 개념, 기록, 환자 수준의 표현을 함께 학습하며, 이는 이산 진단 코드에 대한 지도 학습을 기반으로 한다.
• 모든 환자에 대해 전체 기록 시퀀스를 훈련하며, 시간 순서를 활용해 임상 진행 상황과 맥락을 포착한다.
• 목표 과제(사망, 입원, 응급실 방문)에 대해 하류 모델(예: 로지스틱 회귀)의 입력 특징으로 표현을 평가한다.
• 학습 곡선을 사용하여 훈련 데이터 크기 함수로서 모델 정확도를 평가함으로써 표현 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 레이블 데이터가 제한된 상황에서 신경망 기반의 임상 기록 표현이 희귀 임상 이벤트의 예측 성능을 향상시킬 수 있는가?
• RQ2 낮은 데이터 환경에서 전이 학습 기반 표현이 기존 기준(예: bag-of-words, LDA)보다 어떻게 비교되는가?
• RQ3 학습 데이터가 증가할 경우 학습된 표현과 bag-of-words 특징을 조합하면 개별 구성 요소보다 더 높은 성능을 내는가?
• RQ4 학습된 표현이 과제에 특화된 튜닝 없이 다양한 임상 예측 과제에 얼마나 잘 일반화되는가?
• RQ5 학습 데이터 크기가 증가함에 따라 학습된 표현의 성능이 단순한 기준보다 어떻게 변화하는가?

주요 결과

• 훈련 데이터가 적을 경우(N < 1000명의 환자), 신경망 기반 표현이 bag-of-words 및 토픽 모델 기준보다 뚜렷하게 뛰어난 성능을 보였다.
• RNN 기반 표현은 모든 과제와 훈련 데이터 크기에서 최고의 성능을 기록했으며, 특히 낮은 데이터 환경에서 두각을 나타냈다.
• 더 단순한 ‘임베드 및 집계’ 방법은 RNN 접근법과 거의 유사한 성능을 보였으며, 성능와 계산 효율성 사이의 강력한 트레이드오프를 제공했다.
• RNN 표현과 bag-of-words 특징을 조합하면 모든 훈련 데이터 크기에서 일관된 성능 향상이 있었으며, 개별 구성 요소를 모두 뛰어넘었다.
• 충분한 레이블 데이터가 있는 경우(N > 1000), TF-IDF 가중치를 적용한 bag-of-words가 학습된 표현의 성능을 따라하거나 뛰어넘었으며, 이는 대규모 데이터에서 전이 학습의 수익 감소를 시사한다.
• 평가 시의 낙관적 편향(예측 시간이 미래의 사건과 일치함)은 핵심 결과를 무효화하지 않으며, 학습된 표현이 낮은 데이터 설정에서 기준보다 더 효과적이라는 핵심 발견을 뒷받침한다.