[논문 리뷰] An Attentive Sequence Model for Adverse Drug Event Extraction from Biomedical Text

Suriyadeepan Ramamoorthy, Selvakumar Murugan|arXiv (Cornell University)|2018. 01. 02.

Biomedical Text Mining and Ontologies참고 문헌 19인용 수 19

한 줄 요약

이 논문은 생물의학적 텍스트 내의 문장 간 의존성을 포착하기 위해 자기주의 주의(self-attention) 기반 기법을 사용하여 공동 엔티티 인식 및 부작용 약물 이벤트(ADE) 추출 모델을 제안한다. 특정 약물에 조건화된 질문-답변(task)으로 ADE 추출을 설정함으로써, 기존 최고 성능(SOTA) 대비 15% 향상된 F1 스코어 86.78을 달성하였으며, 임상적 맥락 이해를 위한 해석 가능한 주의 시각화를 가능하게 한다.

ABSTRACT

Adverse reaction caused by drugs is a potentially dangerous problem which may lead to mortality and morbidity in patients. Adverse Drug Event (ADE) extraction is a significant problem in biomedical research. We model ADE extraction as a Question-Answering problem and take inspiration from Machine Reading Comprehension (MRC) literature, to design our model. Our objective in designing such a model, is to exploit the local linguistic context in clinical text and enable intra-sequence interaction, in order to jointly learn to classify drug and disease entities, and to extract adverse reactions caused by a given drug. Our model makes use of a self-attention mechanism to facilitate intra-sequence interaction in a text sequence. This enables us to visualize and understand how the network makes use of the local and wider context for classification.

연구 동기 및 목표

• 임상 텍스트에서 부족하게 보고되는 약물 부작용(ADE) 문제를 다루어 환자 사망률과 합병증에 기여하는 바를 줄이기 위해.
• 전통적인 관계 추출 문제보다 질문-답변(task)으로 ADE 추출을 모델링하여 정확도와 해석 가능성 향상을 도모하기 위해.
• 더 풍부한 문장 내 맥락 모델링을 가능하게 하기 위해 의존 경로 기반 방법을 자기주의 주의 기반 기법으로 대체하기 위해.
• 엔드 투 엔드로 학습 가능한 아키텍처에서 약물 및 질병 엔티티 인식과 ADE 관계 추출을 공동으로 학습하기 위해.
• 주의 히트맵을 통한 시각적 해석 가능성 제공을 통해 모델이 국소적 및 전반적 맥락을 예측에 어떻게 활용하는지 밝혀내기 위해.

제안 방법

• 모델은 ADE 추출을 질문-답변 문제로 간주한다: 각 시퀀스 내 토큰에 대해 "이것은 주어진 약물의 부작용입니까?"에 답한다.
• 입력 시퀀스를 표현하기 위해 단어, 문자, 품사(POS), 레이블 임베딩을 포함한 양방향 LSTM 인코더를 사용한다.
• 자기주의 주의 기법은 모든 토큰 상태를 통해 주의를 기울여 맥락 인식 표현을 계산하며, 관련 세그먼트에 동적으로 초점을 맞출 수 있도록 한다.
• 주의 기법은 주의 점수를 시각화할 수 있게 하여, 모델의 초점이 약물 및 질병 엔티티와 같은 특정 토큰들로 이동하는 방식을 매핑한다.
• 엔티티 인식 및 ADE 분류 작업을 위한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 학습한다.
• 하이퍼파라미터로는 400차원의 단어 임베딩, 525차원의 문자 임베딩, 각각 25차원의 POS 및 레이블 임베딩을 사용하며, 양방향 LSTM 레이어는 각각 150개의 유닛을 가진다.

실험 결과

연구 질문

• RQ1 특정 약물에 조건화된 질문-답변 기반 ADE 추출 설정이 기존의 전통적 관계 추출 방법보다 성능을 향상시킬 수 있는가?
• RQ2 자기주의 주의 기법이 ADE 추출의 문장 내 의존성 모델링에서 최단 의존 경로(SDP) 기반 방법보다 우수한가?
• RQ3 주의 시각화가 임상 텍스트 시퀀스에서 모델 결정을 해석하는 데 어느 정도 기여하는가?
• RQ4 시퀀스 길이, 엔티티 수 또는 ADE 수와 모델 성능 간 상관관계가 있는가?
• RQ5 엔티티 인식과 ADE 추출의 공동 학습이 전체 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• ADE 추출에 대해 F1 스코어 86.78를 달성하여 기존 최고 성능(SOTA) 대비 15% 향상되었다.
• 엔티티 인식 성능는 SOTA를 略로 뛰어넘었으며, 50% 이상의 샘플에서 F1 스코어가 95를 초과하였다.
• ADE 추출 예측의 60% 이상에서 F1 스코어가 95를 초과하여 고신뢰도 사례에서의 강력한 일반화 능력을 보였다.
• 주의 히트맵은 고성능 샘플에서 약물 및 질병 엔티티를 명확히 강조하여 모델이 관련 임상 용어에 초점을 맞추고 있음을 확인했다.
• 저성능 샘플에서는 주의가 토큰들 사이로 산산이 산산이 흩어져 있어 관련 맥락을 파악하지 못했으며, 이는 열악한 예측과 관련이 있었다.
• 모델 성능과 시퀀스 길이, 엔티티 수, ADE 수 간에 유의미한 상관관계는 발견되지 않아 입력 복잡성에 대해 뛰어난 내구성을 보였다.