[논문 리뷰] Medical Concept Embedding with Time-Aware Attention

Xiangrui Cai, Jinyang Gao외 4명|arXiv (Cornell University)|2018. 06. 06.

Machine Learning in Healthcare참고 문헌 18인용 수 9

한 줄 요약

이 논문은 연속적 단어집합(CBOW) 프레임워크 내에서 시간 인식 주의 메커니즘을 제안하여 동적으로 소프트 시간적 맥락을 통합한 의료 개념 임베딩을 학습한다. 각 의료 개념 주변의 시간 기간에 걸쳐 주의 가중치를 모델링함으로써, 급성과 만성 질환과 같은 다양한 시간적 범위를 포착할 수 있으며, 공개 및 기업 소유의 전자 의무기록(EMR) 데이터셋에서 클러스터링 및 최근접 이웃 검색 작업에서 다섯 가지 최신 기술(SOTA) 기준을 초월한다.

ABSTRACT

Embeddings of medical concepts such as medication, procedure and diagnosis codes in Electronic Medical Records (EMRs) are central to healthcare analytics. Previous work on medical concept embedding takes medical concepts and EMRs as words and documents respectively. Nevertheless, such models miss out the temporal nature of EMR data. On the one hand, two consecutive medical concepts do not indicate they are temporally close, but the correlations between them can be revealed by the time gap. On the other hand, the temporal scopes of medical concepts often vary greatly (e.g., extit{common cold} and extit{diabetes}). In this paper, we propose to incorporate the temporal information to embed medical codes. Based on the Continuous Bag-of-Words model, we employ the attention mechanism to learn a "soft" time-aware context window for each medical concept. Experiments on public and proprietary datasets through clustering and nearest neighbour search tasks demonstrate the effectiveness of our model, showing that it outperforms five state-of-the-art baselines.

연구 동기 및 목표

• 의료 기록(EMR)에서 시간적 순서와 질환 지속 기간의 변동성을 忽시하는 기존 의료 개념 임베딩 모델의 한계를 해결하기 위해.
• 고정 크기 윈도우에 의존하지 않고, 의료 개념의 시간적 맥락을 동적으로 모델링하기 위해.
• 주의 메커니즘을 사용하여 의료 개념 표현과 '소프트' 시간적 범위를 동시에 학습하기 위해.
• 더 나은 의미적 및 시간적 정보를 반영한 임베딩을 통해 클러스터링 및 최근접 이웃 검색과 같은 후행 의료 분석 작업을 향상시키기 위해.

제안 방법

• 목표 개념과의 시간적 거리에 따라 다른 가중치를 할당하는 시간 인식 주의 메커니즘을 도입함으로써 CBOW 모델을 확장한다.
• 각 의료 개념은 시간 단위에 걸친 학습된 주의 가중치에 기반한 맥락 윈도우에 임bedded되며, 고정된 윈도우 대신 '소프트' 시간적 범위를 가능하게 한다.
• 주의 메커니즘은 시간 간격을 기반으로 맥락 기여도를 계산하여, 급성 질환(예: 감기)은 짧은 영향력을, 만성 질환(예: 당뇨병)은 장기간의 영향력을 가질 수 있도록 한다.
• 중앙 의료 개념을 시간적으로 가중된 맥락에서 예측하도록 음성 샘플링을 사용해 엔드 투 엔드로 학습한다.
• 시간적 범위는 목표 개념 이전 및 이후 시간 단위(예: 주)의 범위로 정의되며, 주의는 이러한 단위들에 걸쳐 분포된다.
• 모델은 시간적으로 관련성이 높은 개념—예를 들어, 시간적으로 가까이 있는 개념—을 우선시하고, 먼 또는 관련 없는 개념은 낮은 가중치를 할당한다.

실험 결과

연구 질문

• RQ1 신경망 임베딩 모델이 의료 기록(EMR)에서 효과적으로 시간적 맥락을 통합하여 의료 개념 표현을 향상시킬 수 있는가?
• RQ2 급성 질환과 만성 질환에 대해 시간적 범위를 변동적으로 모델링하는 것이 고정 윈도우 접근 방식에 비해 임베딩 품질에 어떤 영향을 미치는가?
• RQ3 주의 기반의 소프트 시간적 맥락이 EMR 데이터에서 클러스터링 및 최근접 이웃 작업 성능에 얼마나 기여하는가?
• RQ4 실제 의료 기록 데이터에서 다양한 데이터셋 크기와 시간 분포에 대해 제안된 모델의 탄력성은 어느 정도인가?

주요 결과

• 제안된 MCE 모델은 두 데이터셋인 NUH2012와 DE-SynPUF에서 클러스터링 및 최근접 이웃 검색 작업에서 다섯 가지 최신 기술(SOTA) 기준을 모두 초월한다.
• DE-SynPUF 데이터셋에서 MCE는 윈도우 크기가 증가함에 따라 안정적인 성능 유지를 보였고, CBOW와 Skip-gram은 성능이 크게 떨어지는 것으로 나타나 더 나은 확장성을 보였다.
• NUH2012에서 MCE 모델은 30주의 시간적 맥락 범위에서 최고 성능를 기록하여 일년치 EMR 데이터에 최적의 커버리지임을 시사한다.
• 노이즈에 대한 강건성과 다양한 윈도우 크기에서의 성능이 향상되었으며, 특히 고노이즈 환경에서 GloVe와 wang2vec보다 뛰어난 성능을 보였다.
• 정성적 분석 결과, 만성 질환은 안정적인 영향을, 급성 질환은 피크 영향을, 심각하지만 희귀한 질환은 후유증 영향을 보이며, 주의 패턴이 명확히 드러났다.
• 주의 메커니즘이 비외상성 경색성 뇌출혈과 같은 임상적으로 의미 있는 시간적 동역학을 성공적으로 포착하였다. 예를 들어, 이후 의료 코드에 장기간 영향을 미치는 것으로 나타났다.