[논문 리뷰] Biomedical named entity recognition using BERT in the machine reading comprehension framework

Cong Sun, Zhihao Yang외 4명|arXiv (Cornell University)|2020. 09. 03.

Topic Modeling참고 문헌 34인용 수 8

한 줄 요약

이 논문은 생물의학적 명칭 엔터티 인식(BioNER)을 위한 새로운 BioBERT 기반 기계적 독해(MRC) 프레임워크를 제안한다. 문장 수준의 분류 작업을 질문-답변 작업으로 재구성하여 의미적 맥락과 사전 지식을 더 잘 활용한다. 이 방법은 BC5CDR-Chem에서 94.19%, BC4CHEMD에서 92.92%의 F1 스코어를 기록하며, BioBERT-Softmax 및 BERT-MRC를 모두 초월하여 엔터티 경계 검출 성능을 향상시키고 레이블 일관성 문제를 감소시킨다.

ABSTRACT

Recognition of biomedical entities from literature is a challenging research focus, which is the foundation for extracting a large amount of biomedical knowledge existing in unstructured texts into structured formats. Using the sequence labeling framework to implement biomedical named entity recognition (BioNER) is currently a conventional method. This method, however, often cannot take full advantage of the semantic information in the dataset, and the performance is not always satisfactory. In this work, instead of treating the BioNER task as a sequence labeling problem, we formulate it as a machine reading comprehension (MRC) problem. This formulation can introduce more prior knowledge utilizing well-designed queries, and no longer need decoding processes such as conditional random fields (CRF). We conduct experiments on six BioNER datasets, and the experimental results demonstrate the effectiveness of our method. Our method achieves state-of-the-art (SOTA) performance on the BC4CHEMD, BC5CDR-Chem, BC5CDR-Disease, NCBI-Disease, BC2GM and JNLPBA datasets, achieving F1-scores of 92.92%, 94.19%, 87.83%, 90.04%, 85.48% and 78.93%, respectively.

연구 동기 및 목표

• 시퀀스 레이블링 기반 BioNER의 한계를 해결하기 위해, 의미적 맥락과 사전 지식을 충분히 활용하지 못하는 문제를 해결한다.
• 잘 설계된 질의를 사용하여 BioNER를 기계적 독해(MRC) 작업으로 재구성함으로써 성능을 향상시킨다.
• CRF나 조건부 랜덤 필드(post-processing)와 같은 후처리 디코딩 메커니즘의 필요성을 제거하기 위해 엔드 투 엔드 MRC 학습을 활용한다.
• 다양한 표준 데이터셋에서 다양한 생물의학적 엔터티 유형에 대해 MRC 기반 BioNER의 효과성을 평가한다.
• MRC 프레임워크가 기존 시퀀스 레이블링보다 문법적 및 의미적 관계를 더 잘 포착할 수 있음을 입증한다.

제안 방법

• BioNER 작업이 자연어 질의로 표현된 기계적 독해(MRC) 문제로 재구성된다.
• 각 엔터티 유형은 자연어 질의로 표현되며, 입력 문장마다 특정 엔터티 유형에 해당하는 구간을 식별하도록 모델을 유도하는 질의가 구성된다 (예: '소듐 또는 RA와 같은 화합물은 무엇인가?').
• BioBERT는 스파니쉬 예측 헤드를 사용하여 시작 및 끝 위치를 예측하는 MRC 작업에 피지컬 트레이닝된다.
• 손실 함수는 시작 및 끝 위치 손실을 동일하게 조합한다 (즉, (Loss_start + Loss_end)/2) — 일반적인 MRC 모델에서 사용하는 복잡한 스판 손실을 피한다.
• 학습 데이터에서 알려진 엔터티 예시를 활용하여 질의를 설계함으로써 사전 지식을 통합하고 일반화 성능를 향상시킨다.
• CRF나 조건부 랜덤 필드 후처리 없이 엔드 투 엔드 MRC 학습을 수행하여 추론 과정을 단순화한다.

실험 결과

연구 질문

• RQ1 기존 시퀀스 레이블링 대비 기계적 독해(MRC) 작업으로 재구성한 BioNER가 성능 향상에 기여하는가?
• RQ2 분야 특화 질의의 사용이 사전 지식을 통합함으로써 모델 성능을 향상시키는가?
• RQ3 MRC 프레임워크가 기존 시퀀스 레이블링보다 생물의학 텍스트 내 문법적 및 의미적 관계를 더 잘 포착하는가?
• RQ4 여러 데이터셋에서 BioBERT-MRC가 BioBERT-Softmax 및 BERT-MRC와 비교해 정밀도, 재현율, F1 스코어 측면에서 어떻게 성능을 내는가?
• RQ5 MRC 프레임워크가 BioNER에서 레이블 일관성 문제를 줄이고 경계 검출 정확도를 향상시키는가?

주요 결과

• BioBERT-MRC는 BC5CDR-Chem에서 94.19%, BC4CHEMD에서 92.92%의 SOTA F1 스코어를 기록하며 6개의 생물의학적 NER 데이터셋에서 최고 성능을 달성한다.
• BioBERT-Softmax보다 정밀도가 뚜렷이 향상되어 특히 가짜 양성(false positives)을 줄임으로써 F1 스코어가 상승한다.
• 사례 연구 결과, BioBERT-MRC는 가짜 음성(false negatives)과 가짜 양성(false positives)을 수정하고 경계 검출 성능를 향상시키며 레이블 일관성 문제를 감소시킨다.
• BERT-MRC(L)보다 성능이 뛰어나, BERT-MRC에서 사용하는 스판 손실 구성 요소가 평평한 엔터티 BioNER 작업에 필요 없고 오히려 해로울 수 있음을 시사한다.
• MRC 프레임워크를 통해 더 나은 문법적 및 의미적 학습이 가능했으며, 이는 어휘 조각, 구간 처리 및 엔터티 일관성 향상으로 입증된다.
• CRF 후처리가 없어도 성능에 영향을 주지 않아 엔드 투 엔드 MRC 학습의 효과성을 확인할 수 있다.