[논문 리뷰] Multi-layer Representation Learning for Medical Concepts

Edward Choi, Mohammad Taha Bahadori외 3명|arXiv (Cornell University)|2016. 02. 17.

Topic Modeling참고 문헌 34인용 수 10

한 줄 요약

이 논문은 EHR 데이터로부터 환자 내역 간의 내부 공존 패턴과 내역 간 순차적 패턴을 활용하여 의료 코드와 환자 내역에 대해 해석 가능하고 저차원의 표현을 학습하는 이중층 신경망인 Med2Vec을 제안한다. 예측 과제에서 Skip-gram, GloVe, 스택드 오토인코더 등의 베이스라인보다 뛰어난 성능을 보이며, 전문가 검증을 통해 임상적으로 의미 있는 해석이 가능하다.

ABSTRACT

Learning efficient representations for concepts has been proven to be an important basis for many applications such as machine translation or document classification. Proper representations of medical concepts such as diagnosis, medication, procedure codes and visits will have broad applications in healthcare analytics. However, in Electronic Health Records (EHR) the visit sequences of patients include multiple concepts (diagnosis, procedure, and medication codes) per visit. This structure provides two types of relational information, namely sequential order of visits and co-occurrence of the codes within each visit. In this work, we propose Med2Vec, which not only learns distributed representations for both medical codes and visits from a large EHR dataset with over 3 million visits, but also allows us to interpret the learned representations confirmed positively by clinical experts. In the experiments, Med2Vec displays significant improvement in key medical applications compared to popular baselines such as Skip-gram, GloVe and stacked autoencoder, while providing clinically meaningful interpretation.

연구 동기 및 목표

• 고차원 의료 개념에 대한 효율적이고 확장 가능하며 해석 가능한 표현을 EHR 데이터에서 학습하는 데 도전한다.
• 환자 내역 기록에서 의료 코드 간의 내부 공존 패턴과 내역 간 시간적 순서 패턴을 모두 모델링한다.
• 의료 전문 지식이나 감독 없이도 임상적으로 해석 가능한 결과를 도출할 수 있는 표현 학습 방법을 개발한다.
• 실제 의료 응용 분야에서 Skip-gram, GloVe, 스택드 오토인코더 등의 기존 베이스라인과 비교해 확장성과 성능 향상을 입증한다.
• 임상 전문가의 사용자 연구를 통해 학습된 표현의 해석 가능성을 검증한다.

제안 방법

• Med2Vec은 이중층 신경망 아키텍처를 사용한다: 첫 번째 계층은 내역 내 공존 패턴에서 코드 수준의 표현을 학습하고, 두 번째 계층은 내역 순서의 순차성에서 내역 수준의 표현을 학습한다.
• 코드 간 내역 내 공존과 내역 간 순차적 관계를 모두 모델링하기 위해 수정된 Skip-gram 목적함수를 적용한다.
• 대규모 EHR 데이터셋(수백만 건의 내역 포함)에서의 훈련 효율성과 확장성을 향상시키기 위해 음성 샘플링을 사용한다.
• 각 내역을 '문장'으로 간주하고, 내역 내 의료 코드를 '단어'로 간주하여 문맥 창 안에서의 표현을 학습한다.
• 로지스틱 회귀와 특성 기여도 분석을 통해 각 내역 표현에 기여하는 주요 코드 좌표를 분석함으로써 해석 가능성을 확보한다.
• 임상 전문가들이 학습된 벡터 좌표가 임상적으로 관련성이 높은 질환 군과 연관됨을 확인한다.

실험 결과

연구 질문

• RQ1 다층 표현 학습 프레임워크는 EHR 데이터에서 공존 관계와 순차적 관계를 효과적으로 포착하여 의료 개념 표현을 향상시킬 수 있는가?
• RQ2 Med2Vec은 기존의 베이스라인과 비교해 더 정확할 뿐 아니라 임상적으로 해석 가능한 표현을 생성하는가?
• RQ3 학습된 코드 및 내역 표현은 실제 의료 예측 과제에서 성능 향상에 얼마나 기여하는가?
• RQ4 어떤 특정 의료 코드 군이 CRG 수준과 같은 임상 결과에 가장 예측 가능하며, 이러한 군은 의미적으로 해석 가능한가?
• RQ5 모델은 300만 건 이상의 내역과 수천 개의 의료 코드를 포함한 대규모 EHR 데이터셋에 효과적으로 확장 가능한가?

주요 결과

• Med2Vec은 CRG 예측 과제에서 Skip-gram, GloVe, 스택드 오토인코더를 크게 앞서며, 더 뛰어난 표현 품질을 입증한다.
• 모델은 높은 확장성을 보이며, 각각 300만 건과 550만 건의 내역을 포함한 두 개의 대규모 데이터셋에서 성공적으로 표현을 학습했다.
• 임상 전문가들이 학습된 임베딩 공간에서 상위 기여 코드 좌표가 낭만성 혈액병, 간질, 선천성 염색체 이상과 같은 임상적으로 의미 있는 질환 군과 관련이 있음을 확인했다.
• 코드 좌표 190(선천성 염색체 이상 관련)과 좌표 199(선천성 마비 관련)는 높은 CRG 수준의 강력한 예측 변수로 규명되었으며, 임상적 직관과 일치한다.
• 내역 좌표 50은 낭만성 혈액병 환자와 스포츠 부상 환자에서 강하게 활성화되었고, 내역 좌표 41은 뇌 손상 및 간질 환자와 관련이 있었으며, 임상적 관련성이 확인되었다.
• 임상 전문가의 사용자 연구를 통해 모델의 해석 가능성이 검증되었으며, 학습된 표현이 실제 임상적 관계를 반영하고 있음을 확인했다.