[논문 리뷰] Integrating Dictionary Feature into A Deep Learning Model for Disease Named Entity Recognition

Hamada Nayel, Shashrekha H. L|arXiv (Cornell University)|2019. 11. 04.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 사전 학습된 단어 임베딩, 문자 수준 임베딩, 사전 정보 및 전역 점수를 고려한 CRF를 통합한 딥러닝 모델을 제안한다. 이 모델은 NCBI 및 BC5CDR 데이터셋에서 각각 85.40% 및 79.62%의 F1 스코어를 기록하며, 구조적 언어학적 특징과 시퀀스 레이블링 최적화를 통해 기존 방법을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent years, Deep Learning (DL) models are becoming important due to their demonstrated success at overcoming complex learning problems. DL models have been applied effectively for different Natural Language Processing (NLP) tasks such as part-of-Speech (PoS) tagging and Machine Translation (MT). Disease Named Entity Recognition (Disease-NER) is a crucial task which aims at extracting disease Named Entities (NEs) from text. In this paper, a DL model for Disease-NER using dictionary information is proposed and evaluated on National Center for Biotechnology Information (NCBI) disease corpus and BC5CDR dataset. Word embeddings trained over general domain texts as well as biomedical texts have been used to represent input to the proposed model. This study also compares two different Segment Representation (SR) schemes, namely IOB2 and IOBES for Disease-NER. The results illustrate that using dictionary information, pre-trained word embeddings, character embeddings and CRF with global score improves the performance of Disease-NER system.

연구 동기 및 목표

• 딥러닝 프레임워크에 외부 사전 지식을 통합하여 질병 명명된 엔터티 인식(Disease-NER) 성능을 향상시키는 것.
• 문자 수준 임베딩과 사전 학습된 단어 임베딩이 Disease-NER 성능에 미치는 영향을 평가하는 것.
• 생물의학 분야 명명된 엔터티 인식의 맥락에서 IOB2 및 IOBES 시퀀스 레이블링 체계의 효과성을 비교하는 것.
• Disease-NER의 시퀀스 디코딩에서 전역 점수 기반 CRF와 국소 점수 기반 CRF의 기여도를 평가하는 것.
• 다양한 신호 원천—어휘적, 철자적, 사전 기반—을 조합함으로써 복잡한 생물의학 텍스트에서 인식 정확도 향상이 가능함을 보여주는 것.

제안 방법

• 모델은 양방향 LSTM 아키텍처를 활용하여 단어 수준 및 문자 수준 임베딩을 처리하여 형태소적 및 문법적 패턴을 포착한다.
• 일반 및 생물의학 텍스트 코퍼스에서 사전 학습된 단어 임베딩을 입력 표현으로 사용하여 무작위 초기화된 임베딩보다 의미 일반화 능력을 향상시킨다.
• 문자 수준 임베딩은 별도의 양방향 LSTM을 통해 학습되며, 희귀 또는 OOV(표본 외) 질병 용어에 중요한 부분어 정보를 포착한다.
• 사전 정보는 특징 벡터로 통합되어 알려진 질병 엔터티를 인식하는 데 모델을 안내하며, 동의어 및 약어로 인한 모호성을 줄인다.
• 조건부 랜덤 필드(CRF)를 사용하여 레이블 간 의존성을 모델링하고, 시퀀스 수준 예측 정확도를 향상시킨다.
• IOB2 및 IOBES 두 가지 시퀀스 레이블링 체계를 평가하여 엔터티 경계 검출 및 전체 F1 스코어에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 사전 정보 통합이 Disease-NER에서 딥러닝 모델의 성능에 미치는 영향은 무엇인가?
• RQ2 다중어절 및 희귀 질병 엔터티 인식에서 문자 수준 임베딩이 단어 수준 임베딩보다 기여하는 비율은 어떻게 되는가?
• RQ3 생물의학 분야에서 사전 학습된 단어 임베딩이 무작위 초기화된 임베딩보다 성능이 뛰어나게 되는가?
• RQ4 Disease-NER 작업의 시퀀스 레이블링에서 전역 점수 기반 CRF가 국소 점수 기반 CRF보다 우월한가?
• RQ5 NCBI 및 BC5CDR 데이터셋에서 IOB2와 IOBES 중 어느 시퀀스 레이블링 체계가 더 높은 성능을 내는가?

주요 결과

• 사전 정보 통합이 Disease-NER 성능에 크게 기여하며, NCBI 데이터셋에서 최고의 F1 스코어 85.40%를 기록했다.
• 문자 임베딩이 성능 향상에 상당한 기여를 하였으며, 이를 포함하지 않은 모델 대비 F1 스코어가 10% 이상 향상되었다.
• 사전 학습된 단어 임베딩이 무작위 초기화된 임베딩보다 성능이 뛰어나며, 대규모 생물의학 및 일반 텍스트에서의 사전 학습의 가치를 입증한다.
• 전역 점수 기반 CRF 디코딩이 국소 점수 기반보다 더 좋은 결과를 내었으며, 다른 특징과 조합할 경우 특히 두드러졌다.
• IOBES 체계는 BC5CDR 데이터셋에서 IOB2 대비 F1 측정치 1.13%p 높은 성능을 보이며, 엔터티 경계 처리 능력이 뛰어나다는 것을 시사한다.
• 제안된 모델은 NCBI(85.40% F1) 및 BC5CDR(79.62% F1) 데이터셋에서 모두 최신 기술 수준의 성능을 달성하였으며, CNN 기반 및 앙상블 모델을 포함한 이전 방법들을 능가했다.