[논문 리뷰] Biomedical Event Trigger Identification Using Bidirectional Recurrent Neural Network Based Models

P Rahul, Sunil Kumar Sahu외 1명|arXiv (Cornell University)|2017. 05. 26.

Biomedical Text Mining and Ontologies참고 문헌 14인용 수 7

한 줄 요약

이 논문은 복잡한 수작업 특징에 의존하지 않고 단어 및 엔터티 유형 임베딩을 활용하는 이방향 RNN 기반 모델을 제안한다. 이중 RNN를 통해 장거리 문맥적 의존성을 포착하고, 단어 수준 및 문장 수준의 표현을 통합함으로써 MLEE 코퍼스에서 최신 기술 수준(F1 점수: 79.11)을 달성하며, 이는 이전의 SVM, CNN, 피드포워드 신경망 기반 베이스라인보다 통계적으로 유의미하게 뛰어나다.

ABSTRACT

Biomedical events describe complex interactions between various biomedical entities. Event trigger is a word or a phrase which typically signifies the occurrence of an event. Event trigger identification is an important first step in all event extraction methods. However many of the current approaches either rely on complex hand-crafted features or consider features only within a window. In this paper we propose a method that takes the advantage of recurrent neural network (RNN) to extract higher level features present across the sentence. Thus hidden state representation of RNN along with word and entity type embedding as features avoid relying on the complex hand-crafted features generated using various NLP toolkits. Our experiments have shown to achieve state-of-art F1-score on Multi Level Event Extraction (MLEE) corpus. We have also performed category-wise analysis of the result and discussed the importance of various features in trigger identification task.

연구 동기 및 목표

• 기존 파ip라인에서 오류율의 60% 이상을 차지하는 생물의학 이벤트 추출에서의 정확하지 않은 트리거 식별 문제를 해결하기 위해.
• NLP 툴킷에서 유도한 복잡하고 실수하기 쉬운 수작업 특징에 대한 의존도를 줄이기 위해 딥러닝을 활용해 엔드 투 엔드 특징 학습을 수행하기 위해.
• 순환 아키텍처를 활용해 전체 문장의 장거리 문맥적 의존성을 포착하여 성능을 향상시키기 위해.
• 다양한 특징—단어 임베딩, 엔터티 유형 임베딩, 전역 문장 표현—이 트리거 식별 정확도에 기여하는 바를 평가하기 위해.

제안 방법

• 전체 문장의 문맥을 캡처하기 위해 이중 게이트형 순환 단위(GRUs)를 사용하여 장거리 의존성을 초국소 창문을 넘어서 포착한다.
• 각 토큰의 입력 특징으로 사전 학습된 단어 임베딩과 무작위 초기화된 엔터티 유형 임베딩을 사용한다.
• 단어 임베딩과 엔터티 유형 임베딩을 입력 레이어에서 각 토큰당 하나의 밀집 특징 벡터로 결합한다.
• 최종 분류를 위해 RNN의 단어 수준 특징(l)과 문장 수준의 은닉 상태(g)를 모두 활용한다.
• 교차 엔트로피 손실과 확률적 경사 하강법을 사용하여 모델을 훈련하며, 트리거 단어 및 유형 분류를 최적화한다.
• 제거 분석을 통해 모델 변종을 평가하며, 엔터티 유형 임베딩 유무 및 국소 및 전역 특징의 다양한 조합에 따른 성능을 비교한다.

실험 결과

연구 질문

• RQ1 이중 RNN 기반 모델이 장거리 문맥을 포착함으로써 창문 기반 모델보다 생물의학 트리거 식별에서 더 나은 성능을 내는가?
• RQ2 단어 임베딩, 엔터티 유형 임베딩, 문장 수준 표현이 성능 향상에 기여하는 방식은 무엇인가?
• RQ3 수작업 특징을 제거함으로써 기존의 SVM 기반 접근법에 비해 더 나은 일반화 능력과 높은 F1 점수를 달성하는가?
• RQ4 어떤 트리거 유형(예: 해부학적, 분자학적, 일반적, 계획적)이 모델에게 가장 도전적인가, 그리고 그 이유는 무엇인가?
• RQ5 국소(단어 수준) 특징과 전역(문장 수준) 특징 중 어느 것이 분류 정확도에 더 큰 영향을 미치는가?

주요 결과

• 제안된 GRU 기반 모델은 MLEE 코퍼스에서 F1 점수 79.11을 달성하며, SVM, CNN, FFNN을 포함한 모든 기준 모델을 능가한다.
• 모델은 FFNN 기준 모델(유의미성 수준 p = 8.57×10⁻⁷)과 CNNψ 기준 모델(유의미성 수준 p = 1.178×10⁻¹⁰)보다 유의미하게 뛰어나 성능 우월성을 입증한다.
• 해부학적(성능 F1: 85.87) 및 분자학적(성능 F1: 80.43) 트리거 유형에서 가장 뛰어난 성능를 보이며, 일반적(성능 F1: 77.09) 및 계획적(성능 F1: 67.43) 유형에서 성능 저하가 발생한다.
• 엔터티 유형 임베딩(Eₑ)을 통합하고 국소 및 전역 특징(l+g)을 모두 사용할 경우 F1 점수는 76.52에서 79.11로 향상되며, 이는 Eₑ의 핵심적 역할을 입증한다.
• 혼동 행렬 분석 결과, 일반 및 계획 유형의 '조절' 하위유형(예: 양성/음성 조절)이 주요한 거짓 양성 및 거짓 음성의 원인이 된다.
• 예시 분석을 통해 엔터티 유형 정보가 없는 모델은 동일한 단어가 트리거로 기능하는지 또는 엔터티의 일부인지 구분하지 못함을 보이며, Eₑ가 의미 분류에 있어 필수적임을 시사한다.