[논문 리뷰] Learning the grammar of prescription: recurrent neural network grammars for medication information extraction in clinical texts

Ivan Lerner, Jordan Jouffroy외 2명|arXiv (Cornell University)|2020. 04. 24.

Natural Language Processing Techniques참고 문헌 30인용 수 4

한 줄 요약

이 연구는 프랑스어 임상 텍스트에서 약물 이름, 복용량, 복용 빈도, 지속 기간, 투여 경로 및 상태를 추출하기 위해 상향식, 전이 기반 신경망 파서인 순환 신경망 문법(RNNG)을 평가한다. RNNG는 아키텍처의 인덕티브 바이어스와 공동 엔티티-관계 모델링 덕분에 관계 추출에서 BiLSTM 기반 기준 모델(84.6% F1)을 능가하는 성능을 보이며, F1 점수는 88.5%를 기록한다. 다만 엔티티 검출에서는 다소 뒤처져 있어, F1 점수는 82.4%로 BiLSTM 기준 모델의 84.1%에 못 미친다.

ABSTRACT

In this study, we evaluated the RNNG, a neural top-down transition based parser, for medication information extraction in clinical texts. We evaluated this model on a French clinical corpus. The task was to extract the name of a drug (or class of drug), as well as fields informing its administration: frequency, dosage, duration, condition and route of administration. We compared the RNNG model that jointly identify entities and their relations with separate BiLSTMs models for entities and relations as baselines. We call seq-BiLSTMs the baseline models for relations extraction that takes as extra-input the output of the BiLSTMs for entities. RNNG outperforms seq-BiLSTM for identifying relations, with on average 88.5% [87.2-89.8] versus 84.6 [83.1-86.1] F-measure. However, RNNG is weaker than the baseline BiLSTM on detecting entities, with on average 82.4 [80.8-83.8] versus 84.1 [82.7-85.6] % F- measure. RNNG trained only for detecting relations is weaker than RNNG with the joint modelling objective, 87.4 [85.8-88.8] versus 88.5% [87.2-89.8]. The performance of RNNG on relations can be explained both by the model architecture, which provides shortcut between distant parts of the sentence, and the joint modelling objective which allow the RNNG to learn richer representations. RNNG is efficient for modeling relations between entities in medical texts and its performances are close to those of a BiLSTM for entity detection.

연구 동기 및 목표

• 신경 문법을 사용하여 문법적 및 관계적 구조를 모델링함으로써 임상 텍스트에서 약물 정보 추출을 향상시키는 것.
• 순환 신경망 문법(RNNG)이 별도의 모델보다 공동으로 엔티티와 그 관계를 탐지하는 데 더 효과적인지 평가하는 것.
• 공동 모델링과 아키텍처 설계가 저자원 임상 NLP 환경에서 성능에 미치는 영향을 평가하는 것.
• 프랑스어 임상 노트에서 엔티티 및 관계 추출에 대해 RNNG의 성능을 BiLSTM 기반 기준 모델과 비교하는 것.

제안 방법

• RNNG 모델은 임상 텍스트에서 엔티티와 그 관계를 공동으로 예측하기 위해 상향식, 전이 기반 파싱 방법을 사용한다.
• 모델은 숨은 상태를 유지하기 위해 순환 신경망을 활용하며, 이는 파싱 결정과 구조적 종속성을 나타낸다.
• 엔티티 및 관계 예측의 공동 학습을 통해 공유된 숨은 상태를 통해 더 풍부하고 맥락에 기반한 표현을 학습할 수 있다.
• RNNG는 먼저 엔티티를 검출한 다음 그 결과를 관계 추출에 입력하는 기준 모델인 seq-BiLSTM 모델과 비교된다.
• 공동 모델링의 기여를 분리하기 위해 관계 추출 전용으로만 훈련된 변형된 RNNG 버전도 평가된다.
• 모델 성능은 약물 이름, 복용량, 복용 빈도, 지속 기간, 투여 경로 및 상태에 대해 주석이 달린 프랑스어 임상 코퍼스를 사용하여 F1 점수로 평가된다.

실험 결과

연구 질문

• RQ1 RNNG와 같은 신경 문법 모델이 임상 텍스트에서 약물 엔티티 간의 관계를 추출하는 데 있어 표준 BiLSTM 모델을 능가할 수 있는가?
• RQ2 RNNG에서 엔티티와 관계를 공동으로 모델링하는 것이 별도의 엔티티 및 관계 모델링보다 더 나은 성능을 내는가?
• RQ3 RNNG의 아키텍처 인덕티브 바이어스, 특히 먼 구성요소 간 연결 기능이 관계 추출에 어떤 영향을 미치는가?
• RQ4 공동 학습이 관계 추출 성능에 기여하는 정도는 관계 추출 전용 학습과 비교해 얼마나 큰가?
• RQ5 RNNG의 엔티티 검출 성능은 전용 BiLSTM 모델과 비교해 어느 정도인가?

주요 결과

• RNNG는 관계 추출에서 평균 F1 점수 88.5% [87.2–89.8]를 기록하여, seq-BiLSTM 기준 모델의 84.6% [83.1–86.1]를 뛰어넘는다.
• RNNG는 엔티티 검출에서 BiLSTM 기준 모델의 84.1% [82.7–85.6]에 못 미치며, F1 점수는 82.4% [80.8–83.8]로 나타난다.
• RNNG의 공동 모델링은 관계 추출 성능 향상에 기여하며, 관계 추출 전용으로만 훈련한 경우 F1 점수는 87.4% [85.8–88.8]로 공동 학습의 88.5%에 못 미친다.
• RNNG의 아키텍처 인덕티브 바이어스, 특히 먼 문장 요소 간의 연결 기능이 우수한 관계 추출 능력에 기여한다.
• RNNG의 관계 추출 성능는 BiLSTM 모델의 엔티티 검출 성능에 가깝게 유지되어, 임상 NLP 파이프라인에 통합될 잠재력이 높다.
• 결과는 RNNG의 강점이 특히 문장 간 거리가 먼 문법적 및 의미적 종속성을 포함한 관계적 구조를 모델링하는 데 있음을 시사한다.