[논문 리뷰] A hybrid deep-learning approach for complex biochemical named entity recognition

Jian Liu, Lei Gao외 7명|arXiv (Cornell University)|2020. 12. 20.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

이 논문은 복잡한 생화학적 엔티티를 위한 명명된 엔티티 인식(NER)을 향상시키기 위해 BERT, Bi-LSTM, 다중머리 주의(MHATT), CRF를 조합한 하이브리드 딥러닝 모델을 제안한다. 이 방법은 특히 약어, 다의어, 희귀어에 대해 정확도를 크게 향상시키며, 두 개의 기준 데이터셋에서 BILSTM-CRF 대비 각각 80% 및 21.69%의 상대적 향상률을 기록한다.

ABSTRACT

Named entity recognition (NER) of chemicals and drugs is a critical domain of information extraction in biochemical research. NER provides support for text mining in biochemical reactions, including entity relation extraction, attribute extraction, and metabolic response relationship extraction. However, the existence of complex naming characteristics in the biomedical field, such as polysemy and special characters, make the NER task very challenging. Here, we propose a hybrid deep learning approach to improve the recognition accuracy of NER. Specifically, our approach applies the Bidirectional Encoder Representations from Transformers (BERT) model to extract the underlying features of the text, learns a representation of the context of the text through Bi-directional Long Short-Term Memory (BILSTM), and incorporates the multi-head attention (MHATT) mechanism to extract chapter-level features. In this approach, the MHATT mechanism aims to improve the recognition accuracy of abbreviations to efficiently deal with the problem of inconsistency in full-text labels. Moreover, conditional random field (CRF) is used to label sequence tags because this probabilistic method does not need strict independence assumptions and can accommodate arbitrary context information. The experimental evaluation on a publicly-available dataset shows that the proposed hybrid approach achieves the best recognition performance; in particular, it substantially improves performance in recognizing abbreviations, polysemes, and low-frequency entities, compared with the state-of-the-art approaches. For instance, compared with the recognition accuracies for low-frequency entities produced by the BILSTM-CRF algorithm, those produced by the hybrid approach on two entity datasets (MULTIPLE and IDENTIFIER) have been increased by 80% and 21.69%, respectively.

연구 동기 및 목표

• 다의어, 특수 문자, 일관되지 않은 레이블링을 포함한 복잡한 생화학적 명명된 엔티티를 인식하는 데 도전하는 것.
• 생물의학 텍스트 내 약어, 다의어, 희귀어에 대한 인식 정확도를 향상시키는 것.
• 맥락 임베딩과 순차적 모델링, 주의 메커니즘을 통합한 강력한 NER 프레임워크를 개발하는 것.
• 공개된 생화학적 NER 데이터셋에서 기존 최고 수준의 접근 방식을 능가하는 것.

제안 방법

• 입력 텍스트로부터 맥락 기반 단어 표현을 추출하기 위해 BERT를 사용한다.
• 토큰 시퀀스 내의 순차적 의존성과 장거리 맥락을 포착하기 위해 Bi-LSTM를 활용한다.
• 문서 또는 장 수준의 표현 학습을 향상시키기 위해 다중머리 주의(MHATT)를 통합한다.
• 독립성 가정을 완화한 상태에서 시퀀스 태그를 예측하기 위해 조건부 랜덤 필드(CRF)를 적용한다.
• BERT, Bi-LSTM, MHATT, CRF를 통합하여 종단 간(end-to-end) 딥러닝 아키텍처를 구축한다.
• 엔티티 인식 성능을 최적화하기 위해 공개된 생화학적 NER 데이터셋으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 BERT, Bi-LSTM 및 다중머리 주의를 조합한 하이브리드 딥러닝 모델이 복잡한 생화학적 엔티티의 NER 성능을 향상시킬 수 있는가?
• RQ2 기존 방법 대비 제안된 모델이 약어 인식에서 어떤 성능을 보이는가?
• RQ3 모델이 다의어 및 희귀어 인식에서 어느 정도 향상되었는가?
• RQ4 주의 강화된 임베딩과 CRF를 통합하면 표준 CRF 또는 Bi-LSTM-CRF 설정보다 더 나은 시퀀스 태깅 성능을 내는가?

주요 결과

• 제안된 하이브리드 모델은 최고 수준의 접근 방식들과 비교해 두 개의 기준 데이터셋(MULTIPLE 및 IDENTIFIER)에서 가장 높은 인식 성능를 기록했다.
• MULTIPLE 데이터셋에서 모델은 BILSTM-CRF 대비 희귀 엔티티 인식 정확도를 80% 향상시켰다.
• IDENTIFIER 데이터셋에서는 BILSTM-CRF 대비 희귀 엔티티 인식에서 21.69%의 상대적 향상률을 기록했다.
• 다중머리 주의 메커니즘이 애매한 약어를 해소하는 데 모델의 능력을 크게 향상시켰다.
• CRF 레이어는 독립성 가정을 완화함으로써 장거리 의존성을 효과적으로 포착하고 시퀀스 태깅 성능을 향상시켰다.
• BERT를 Bi-LSTM 및 MHATT와 통합함으로써 희귀 및 복잡한 엔티티에 대해 우수한 맥락 기반 표현 학습이 가능해졌다.