[논문 리뷰] Bidirectional Recurrent Neural Networks for Medical Event Detection in Electronic Health Records

Abhyuday Jagannatha, Hong Yu|arXiv (Cornell University)|2016. 06. 25.

Machine Learning in Healthcare참고 문헌 26인용 수 13

한 줄 요약

이 논문은 전자 건강 기록(EHR)에서 의료 사건 탐지에 대해 양방향 Long Short-Term Memory(LSTM) 및 게이트드 순환 단위(GRU) 네트워크를 제안하며, 수작업 특징을 사용하는 전통적인 조건부 랜덤 필드(CRFs)보다 뛰어난 성능을 보인다. RNN 모델은 다양한 길이의 맥락에서 장거리 맥락적 의존성을 포착함으로써, 약물 부작용(ADEs)과 지속 기간, 빈도, 심각도와 같은 속성과 같은 드문 사건에 대한 레이블 혼동을 크게 감소시킨다.

ABSTRACT

Sequence labeling for extraction of medical events and their attributes from unstructured text in Electronic Health Record (EHR) notes is a key step towards semantic understanding of EHRs. It has important applications in health informatics including pharmacovigilance and drug surveillance. The state of the art supervised machine learning models in this domain are based on Conditional Random Fields (CRFs) with features calculated from fixed context windows. In this application, we explored various recurrent neural network frameworks and show that they significantly outperformed the CRF models.

연구 동기 및 목표

• 소음이 많고 비정형적인 EHR 노트에서 약물, 진단, 약물 부작용(ADEs)과 같은 의학적으로 관련 있는 사건을 탐지하는 데 도전하는 것.
• 고정된 맥락 창 크기와 수작업 특징에 의존하는 CRF 기반 모델의 한계를 극복하여, 변동 길이의 맥락적 의존성을 포착하지 못하는 문제를 해결하는 것.
• 양방향 RNN(LSTM 및 GRU)이 임상 텍스트에서 장거리 의존성을 모델링하여 시퀀스 레이블링 성능을 향상시키는 데 효과적인지 평가하는 것.
• 기존의 CRF 모델에 비해 RNN 모델이 드문 사건이나 맥락에 의존하는 사건(예: ADEs)에 대해 더 잘 처리할 수 있음을 보여주는 것.

제안 방법

• EHR 노트의 순차적 의존성을 모델링하기 위해 양방향 Long Short-Term Memory(LSTM) 및 게이트드 순환 단위(GRU) 네트워크를 사용하여 의료 사건의 맥락 인식 레이블링을 수행한다.
• 희귀 의료 용어와 약어의 표현 학습을 향상시키기 위해 사전 학습된 스킵그램 단어 임베딩을 입력층에 초기화한다.
• 맥락 길이의 영향을 평가하기 위해 문장 수준 및 문서 수준의 모델을 설계하여, 더 넓은 맥락이 필요한 사건에 대해 성능을 평가한다.
• 레이블 일관성을 확보하기 위해 CRF 디코딩을 후처리 단계로 적용하였지만, 주요 모델은 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되었다.
• 905개의 ADE, 1,500개의 약물, 1,200개의 복용 지시어로 구성된 골드 스탠다드 어노테이션 데이터셋을 사용하여 F1 점수로 성능을 평가하였으며, 맥락 창 크기 및 모델 아키텍처에 대한 분석 실험을 실시하였다.
• 고정 창 크기의 맥락을 사용하는 CRF 기반 모델과 비교하기 위해, 맥락 모델링의 영향을 분리하기 위해 고정 창 위의 백오브워즈 표현을 사용한 CRF 기준 모델과의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 LSTM 및 GRU와 같은 양방향 RNN은 EHR 노트에서 의료 사건을 탐지하는 데 있어 수작업 특징을 사용하는 전통적 CRF 모델보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 RNN을 통해 사용하는 변동 길이의 맥락과 비교해, CRF가 사용하는 고정 창 맥락은 문장 전체를 포함하는 사건(예: ADEs)의 의존성을 포착하는 데 얼마나 효과적인가?
• RQ3 RNN 모델은 지속 기간, 빈도, 심각도와 같은 드문 또는 맥락에 의존하는 속성에 대해 레이블 혼동을 어느 정도 감소시키는가?
• RQ4 특히 여러 문장에 걸쳐 분산되어 있는 복용 지시어와 같은 사건에 대해, 문서 수준의 맥락을 사용할 경우 RNN 모델의 성능 향상이 어떻게 이루어지는가?
• RQ5 더 많은 파rameter를 가진 RNN 모델이 더 작은 데이터셋에서 CRF를 능가하는 이유는 무엇이며, 사전 학습된 단어 임베딩이 이 일반화 성능에 어떤 역할을 하는가?

주요 결과

• 양방향 RNN(LSTM 및 GRU)은 CRF 모델보다 뚜렷이 뛰어나며, ADE, 지속 기간, 빈도, 심각도와 같은 드문 레이블에 대한 혼동을 CRF-nocontext 대비 50% 이상 감소시켰다.
• GRU-document 모델은 빈도 레이블 혼동률을 CRF-context의 31%에서 6.1%로 감소시켜, RNN이 장거리 의존성을 학습하는 데서 유리함을 입증하였다.
• LSTM-document 모델은 문장 수준 모델 대비 같은 수준의 향상을 보이지 않았는데, 이는 더 많은 파라미터와 더 복잡한 순환 구조로 인해 발생했을 가능성이 있으며, 이는 GRU가 작은 데이터셋에서 더 효율적임을 시사한다.
• 맥락 민감도가 높은 레이블에서 성능 향상이 가장 두드러졌다: ADE 및 복용 지시어 혼동률이 RNN을 사용할 경우 상당히 감소하였으며, 특히 문서 수준 맥락을 사용했을 때 더욱 두드러졌다.
• 훈련 예제가 적은 경우에도 RNN 모델은 CRF보다 더 높은 F1 점수를 기록하였는데, 이는 사전 학습된 단어 임베딩과 RNN의 변동 길이 맥락 모델링 능력 덕분에 일반화 성능이 향상되었음을 시사한다.
• 그림 4는 RNN 모델이 증가하는 훈련 데이터 크기 동안 일관된 성능 향상을 유지함을 보여주며, 특히 자원이 제한된 의료 사건 유형에 대해 강건성과 확장성을 보임을 시사한다.