[논문 리뷰] BioNerFlair: biomedical named entity recognition using flair embedding and sequence tagger

Harsh Patel|arXiv (Cornell University)|2020. 11. 03.

Topic Modeling참고 문헌 41인용 수 10

한 줄 요약

BioNerFlair는 Flair 임beddings와 GloVe, 양방향 LSTM-CRF 시퀀스 태거를 조합한 생물의학 분야 명명된 실체 인식 모델을 제안한다. 이 모델은 BC2GM에서 90.17, BC4CHEMD에서 94.03의 F1 점수를 기록하며 여덟 개의 기준 데이터셋 중 다섯 개에서 최신 기술 수준을 달성했으며, 계산 비용이 높은 트랜스포머를 사용하지 않아도 맥락 기반 임베딩이 성능 향상에 크게 기여함을 입증한다.

ABSTRACT

Motivation: The proliferation of Biomedical research articles has made the task of information retrieval more important than ever. Scientists and Researchers are having difficulty in finding articles that contain information relevant to them. Proper extraction of biomedical entities like Disease, Drug/chem, Species, Gene/protein, can considerably improve the filtering of articles resulting in better extraction of relevant information. Performance on BioNer benchmarks has progressively improved because of progression in transformers-based models like BERT, XLNet, OpenAI, GPT2, etc. These models give excellent results; however, they are computationally expensive and we can achieve better scores for domain-specific tasks using other contextual string-based models and LSTM-CRF based sequence tagger. Results: We introduce BioNerFlair, a method to train models for biomedical named entity recognition using Flair plus GloVe embeddings and Bidirectional LSTM-CRF based sequence tagger. With almost the same generic architecture widely used for named entity recognition, BioNerFlair outperforms previous state-of-the-art models. I performed experiments on 8 benchmarks datasets for biomedical named entity recognition. Compared to current state-of-the-art models, BioNerFlair achieves the best F1-score of 90.17 beyond 84.72 on the BioCreative II gene mention (BC2GM) corpus, best F1-score of 94.03 beyond 92.36 on the BioCreative IV chemical and drug (BC4CHEMD) corpus, best F1-score of 88.73 beyond 78.58 on the JNLPBA corpus, best F1-score of 91.1 beyond 89.71 on the NCBI disease corpus, best F1-score of 85.48 beyond 78.98 on the Species-800 corpus, while near best results was observed on BC5CDR-chem, BC3CDR-disease, and LINNAEUS corpus.

연구 동기 및 목표

• 효율적이고 트랜스포머 기반 모델이 아닌 모델을 사용하여 생물의학 분야 명명된 실체 인식(BioNER) 성능을 향상시키는 것.
• 생물의학 텍스트에서 다의어와 맥락에 따라 달라지는 단어 의미의 과제를 해결하는 것.
• 기존 최신 기술 수준 모델을 능가하면서도 계산 비용을 줄이는 것.
• Flair 임베딩이 도메인 특화 NER 작업에서 효과적인지 평가하는 것.
• 대규모 트랜스포머 기반 모델에 대한 경량이지만 강력한 대안을 제공하는 것.

제안 방법

• 모델은 사전 학습된 GloVe와 Flair의 맥락 기반 임베딩을 스택하여 입력 레이어에서 사용한다.
• Flair 임베딩은 생물의학 텍스트 코퍼스에서 학습되어 단어의 맥락 민감한 표현을 포착한다.
• 양방향 LSTM 네트워크는 맥락 기반 임베딩을 처리하여 순차적 의존성을 학습한다.
• 조건부 랜덤 필드(CRF) 레이어는 인접한 토큰 간 레이블 전이를 모델링하여 시퀀스 태깅 정확도를 향상시킨다.
• 모델은 여덟 개의 공개 생물의학 NER 기준 데이터셋에서 엔드 투 엔드로 미세조정된다.
• 실험은 다양한 임베딩 조합의 성능을 비교하며, GPU 메모리 제약 조건 하에서 GloVe + Flair 조합이 최적의 성능을 보였다.

실험 결과

연구 질문

• RQ1 Flair 임베딩과 GloVe, BiLSTM-CRF를 조합한 모델이 기존 최신 기술 수준 모델을 능가할 수 있는가?
• RQ2 Flair와 같은 맥락 기반 임베딩을 사용할 경우 도메인 특화 NER 작업에서 성능 향상이 어떻게 이루어지는가?
• RQ3 비트랜스포머 아키텍처가 성능을 유의미하게 낮추지 않고도 계산 비용을 크게 줄일 수 있는가?
• RQ4 임베딩 조합(예: GloVe + Flair)이 다양한 생물의학 코퍼스에서 NER 성능에 미치는 영향은 무엇인가?
• RQ5 BioNerFlair는 다양한 엔티티 유형(예: 유전자, 질환, 약물)에 대해 다양한 기준 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• BC2GM(유전자/단백질) 코퍼스에서 BioNerFlair는 기존 최신 기술 수준인 84.72를 뛰어넘는 최고의 F1 점수 90.17을 기록하였다.
• BC4CHEMD(화학물질/약물) 데이터셋에서 BioNerFlair는 이전 최고 기록인 92.36를 초월해 F1 점수 94.03을 달성하였다.
• JNLPBA 코퍼스에서는 기존 최신 기술 수준인 78.58를 크게 뛰어넘는 F1 점수 88.73을 기록하였다.
• NCBI 질병 코퍼스에서는 이전 최고 기록인 89.71를 초월해 F1 점수 91.11을 달성하였다.
• Species-800 코퍼스에서는 이전 최신 기술 수준인 74.98를 뛰어넘는 F1 점수 85.48를 기록하였다.
• LINNAEUS와 BC5CDR 데이터셋에서 BioNerFlair는 거의 최신 기술 수준의 성능을 기록하여 다양한 엔티티 유형에 대한 강력한 일반화 능력을 보였다.