[논문 리뷰] Structured prediction models for RNN based sequence labeling in clinical text

Abhyuday Jagannatha, Hong Yu|arXiv (Cornell University)|2016. 08. 01.

Topic Modeling참고 문헌 20인용 수 27

한 줄 요약

이 논문은 임상 텍스트 내 의료 엔티티의 정확한 어휘 검출을 향상시키기 위해 순환 신경망(LSTM)과 조건부 임의 필드(CRF)를 통합하여 향상된 구조적 예측 모델을 제안한다. 신경망을 통해 쌍별 잠재변수를 모델링하고, 장거리 레이블 의존성 처리를 위해 근사 스킵체인 CRF를 도입함으로써, 특히 부작용 약물 사건 및 병용 약물 처방과 같은 희귀 및 복잡한 엔티티에서 통계적으로 유의미한 F-스코어 향상을 달성한다.

ABSTRACT

Sequence labeling is a widely used method for named entity recognition and information extraction from unstructured natural language data. In clinical domain one major application of sequence labeling involves extraction of medical entities such as medication, indication, and side-effects from Electronic Health Record narratives. Sequence labeling in this domain, presents its own set of challenges and objectives. In this work we experimented with various CRF based structured learning models with Recurrent Neural Networks. We extend the previously studied LSTM-CRF models with explicit modeling of pairwise potentials. We also propose an approximate version of skip-chain CRF inference with RNN potentials. We use these methodologies for structured prediction in order to improve the exact phrase detection of various medical entities.

연구 동기 및 목표

• 희귀하고 복잡한 의료 엔티티의 정확한 어휘 검출 문제를 해결하기 위해.
• 지역적 맥락을 초월한 레이블 의존성을 명시적으로 모델링하여 전자 건강기록 내 시퀀스 레이블링 성능을 향상시키기 위해.
• 신경망 기반 쌍별 잠재변수와 근사 스킵체인 CRF 추론의 영향을 임상 NLP의 구조적 예측에 평가하기 위해.
• RNN 기반 구조적 학습이 표준 Bi-LSTM 및 Bi-LSTM-CRF 모델보다 의료적으로 관련성이 있는 엔티티 탐지에서 우월한 성능을 내는지 조사하기 위해.
• 부작용 약물 사건 및 병용 약물 처방과 같이 유사 엔티티와 구분하기 어려운 어려운 레이블인 '의견'과 같은 희귀 레이블에 대한 모델 행동을 분석하기 위해.

제안 방법

• 표준 학습된 전이 행렬 대신 깊은 신경망을 사용하여 레이블 전이를 모델링하는 신경망 기반 쌍별 잠재변수를 갖춘 Bi-LSTM-CRF 모델을 제안한다.
• 장거리 레이블 간 의존성을 포착하기 위해 스킵체인 CRF에 대한 근사 추론 방법을 도입한다. 예를 들어 'A는 B에 대해 2차적으로 발생한다'와 같은 구조에서 나타나는 경우에 유용하다.
• 양방향 LSTM을 사용하여 맥락 인식 단어 표현을 생성하고, 이를 CRF 레이어에 입력하여 구조적 예측을 수행한다.
• CRF에 대해 정확한 추론 및 근사 추론 전략을 사용하며, 후자는 비연속적인 레이블 관계를 모델링할 수 있도록 한다.
• CRF 디코딩을 훈련 중에 사용하는 교차 엔트로피 손실을 통해 엔드 투 엔드로 모델을 훈련시키며, 공동 레이블 시퀀스 예측을 최적화한다.
• 5개의 폴드 교차 검증에서 F-스코어를 대상으로 대응 t-검정을 수행하여 성능 차이의 통계적 유의성을 평가한다.

실험 결과

연구 질문

• RQ1 신경망 기반 쌍별 잠재변수 모델링이 임상 텍스트 내 의료 엔티티의 정확한 어휘 검출에 기여하는가?
• RQ2 근사 스킵체인 CRF 추론을 통합함으로써 임상 시퀀스에서 장거리 레이블 의존성에 대한 성능 향상이 이루어지는가?
• RQ3 제안된 모델은 표준 Bi-LSTM 및 Bi-LSTM-CRF 모델 대비 희귀 및 복잡한 의료 엔티티에 대해 F-스코어, 정밀도 및 재현율 측면에서 어떻게 비교되는가?
• RQ4 정확도는 높지만 일부 희귀하거나 모호한 레이블(예: '의견', '중증도')에 대해 정확한 CRF 모델이 재현율이 낮은 이유는 무엇인가?
• RQ5 신경망 기반 쌍별 잠재변수 모델링이 희귀 의료 엔티티의 데이터 부족 문제를 어느 정도 완화하는가?

주요 결과

• 신경망 기반 쌍별 잠재변수를 사용하는 Bi-LSTM-CRF-pair 모델은 기준 Bi-LSTM 및 표준 Bi-LSTM-CRF 대비 통계적으로 유의미한 F-스코어 향상을 보였다(p < 0.01).
• 근사 스킵체인 CRF 모델은 기준 Bi-LSTM 및 표준 Bi-LSTM-CRF보다 F-스코어에서 뛰어난 성능을 보였으며, 장거리 레이블 의존성 모델링이 향상되어 더 높은 재현율을 기록했다.
• 부작용 약물 사건(ADE)과 같은 희귀 레이블에 대해 Bi-LSTM-CRF-pair 모델은 표준 Bi-LSTM-CRF 대비 유의미하게 높은 재현율을 보였으며, 희귀 엔티티 탐지 능력 향상을 시사한다.
• Bi-LSTM-CRF-pair 모델은 '의견'을 '기타 SSD'로 잘못 분류하는 비율을 40%에서 20%로 감소시켜, 모호한 레이블에 대한 분류 정확도 향상을 입증했다.
• 표준 Bi-LSTM-CRF는 기준 Bi-LSTM 대비 통계적으로 유의미한 F-스코어 향상을 보이지 않았다(p > 0.05), 고정 전이 행렬의 한계를 드러냈다.
• 근사 스킵체인 CRF는 정밀도가 낮지만 복잡한 레이블에 대해 다른 모든 모델과 비교해 거의 또는 더 높은 재현율을 기록했으며, 이는 근사 추론의 영향을 받는다.