[논문 리뷰] Drug-Drug Interaction Extraction from Biomedical Text Using Long Short Term Memory Network

Sunil Kumar Sahu, Ashish Anand|arXiv (Cornell University)|2017. 01. 28.

Topic Modeling참고 문헌 31인용 수 33

한 줄 요약

이 논문은 수동 특징 추출 없이 단어 및 위치 임베딩을 활용하여 생물의학 텍스트 내 약물-약물 상호작용(DDI) 분류를 위한 세 가지 LSTM 기반 모델—B-LSTM, AB-LSTM, Joint AB-LSTM—을 제안한다. Joint AB-LSTM 모델은 양방향 LSTM과 주의 메커니즘을 효과적으로 활용하여 문맥적 및 문법적 의존성을 포착함으로써 SemEval-2013 DDI 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Simultaneous administration of multiple drugs can have synergistic or antagonistic effects as one drug can affect activities of other drugs. Synergistic effects lead to improved therapeutic outcomes, whereas, antagonistic effects can be life-threatening, may lead to increased healthcare cost, or may even cause death. Thus identification of unknown drug-drug interaction (DDI) is an important concern for efficient and effective healthcare. Although multiple resources for DDI exist, they are often unable to keep pace with rich amount of information available in fast growing biomedical texts. Most existing methods model DDI extraction from text as a classification problem and mainly rely on handcrafted features. Some of these features further depend on domain specific tools. Recently neural network models using latent features have been shown to give similar or better performance than the other existing models dependent on handcrafted features. In this paper, we present three models namely, {\it B-LSTM}, {\it AB-LSTM} and {\it Joint AB-LSTM} based on long short-term memory (LSTM) network. All three models utilize word and position embedding as latent features and thus do not rely on explicit feature engineering. Further use of bidirectional long short-term memory (Bi-LSTM) networks allow implicit feature extraction from the whole sentence. The two models, {\it AB-LSTM} and {\it Joint AB-LSTM} also use attentive pooling in the output of Bi-LSTM layer to assign weights to features. Our experimental results on the SemEval-2013 DDI extraction dataset show that the {\it Joint AB-LSTM} model outperforms all the existing methods, including those relying on handcrafted features. The other two proposed LSTM models also perform competitively with state-of-the-art methods.

연구 동기 및 목표

• 빠르게 증가하는 생물의학 문헌에서 전통적인 지식 기반 시스템이 따라오지 못하는 약물-약물 상호작용(DDI) 추출 과제를 해결하기 위해.
• 수동 특징 추출 및 도메인 전용 도구에 의존하지 않는 딥 러닝 모델을 개발하기 위해.
• 단어 및 위치 임베딩을 잠재적 특징으로 사용하는 엔드 투 엔드 학습을 통해 DDI 분류 성능을 향상시키기 위해.
• 주의 메커니즘과 양방향 LSTM이 문장 내 장거리 의존성을 모델링하는 데 미치는 영향을 조사하기 위해.
• 문장 길이, 엔티티 간 간격, 반복적인 약물 언급과 같은 요소와 관련된 모델의 한계를 분석하기 위해.

제안 방법

• 수동 특징 공학 없이 단어 임베딩과 위치 임베딩을 입력 특징으로 사용한다.
• 양방향 LSTM(Bi-LSTM) 네트워크를 활용하여 전방 및 후방 문장 맥락으로부터 문맥 표현을 캡처한다.
• AB-LSTM 및 Joint AB-LSTM에서 주의 메커니즘을 도입하여 은닉 상태에 동적 가중치를 할당함으로써 분류에 중요한 단어에 초점을 맞춘다.
• Joint AB-LSTM 모델에서 양방향 약물 언급 간의 특징 표현을 향상시키기 위해 공동 주의 메커니즘을 적용한다.
• 교차 엔트로피 손실과 소프트맥스 분류를 사용하여 SemEval-2013 DDI 데이터셋에서 모델을 엔드 투 엔드로 훈련한다.
• 단어 임베딩, 위치 임베딩, 사전 학습된 벡터의 기여도를 평가하기 위해 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 학습된 임베딩을 사용하는 엔드 투 엔드 LSTM 모델이 수동 특징에 의존하는 전통적 방법보다 DDI 분류 성능에서 뛰어나게 작용할 수 있는가?
• RQ2 주의 메커니즘이 표준 Bi-LSTM 모델 대비 DDI 분류 성능 향상에 기여하는 방식은 무엇인가?
• RQ3 단어 임베딩과 위치 임베딩이 모델 성능에 미치는 상대적 기여도는 어떠한가?
• RQ4 문장 길이와 약물 엔티티 간 거리가 모델 예측 정확도에 미치는 영향은 무엇인가?
• RQ5 모델의 주요 실패 유형은 무엇이며, 특히 노이즈가 많거나 긴 문장에서 어떻게 나타나는가?

주요 결과

• Joint AB-LSTM 모델은 SemEval-2013 DDI 분류 벤치마크에서 이전의 모든 방법을 능가하는 최신 기준 성능을 달성한다.
• 위치 임베딩을 제거하거나 사전 학습된 단어 벡터를 무작위 초기화로 대체할 경우 성능이 4.6% 상대적으로 감소함으로써, 이들이 중요한 역할을 한다는 점을 확인한다.
• CNN 기반 모델 대비 더 긴 문장과 약물 엔티티 간 거리가 더 큰 경우에서 훨씬 뛰어난 성능을 보이며, 이는 모델의 장거리 의존성 처리 능력을 반영한다.
• 주의 메커니즘이 'may enhance the effects' 및 'increase the effects'와 같은 의미적으로 관련 있는 어구를 성공적으로 강조함으로써 효과적인 주의 학습이 이루어졌음을 확인한다.
• 더 긴 문장과 반복적인 약물 언급이 있는 경우 예측 오류가 더 자주 발생함으로써, 노이즈와 맥락 길이에 민감한 경향을 보인다.
• 의견(Advice) 상호작용 클래스는 가장 쉽게 분류되며, 모델은 의미가 모호하고 명시적 신호가 부족한 Int(상호작용) 및 Mechanism 클래스에서 가장 어려움을 겪는다.