[논문 리뷰] Knowledge Guided Named Entity Recognition for BioMedical Text

Pratyay Banerjee, Kuntal Kumar Pal외 2명|arXiv (Cornell University)|2019. 11. 10.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 생물의학 분야의 명명된 엔터티 인식(NER)을 지식 유도형 다중 답변 질의응답(KGQA) 작업으로 재구성하여, 엔터티 유형, 정의, 예시를 맥락으로 활용해 엔터티 탐지 성능을 향상시킨다. 18개의 생물의학 문헌에서 구성된 대규모 통합 데이터셋을 사용해 훈련하고, 재맥락화 기능을 갖춘 BERT-CNN 모델을 적용함으로써, 기존의 다중 클래스 분류 기반 NER에 비해 우수한 성능을 보이며 18개의 공개 데이터셋 중 12개에서 최고 성능을 기록한다. 이는 BERT-large를 전통적 NER에 맞추어 미세조정한 강력한 기준 모델을 능가한다.

ABSTRACT

In this work, we formulate the NER task as a multi-answer knowledge guided QA task (KGQA) which helps to predict entities only by assigning B, I and O tags without associating entity types with the tags. We provide different knowledge contexts, such as, entity types, questions, definitions and examples along with the text and train on a combined dataset of 18 biomedical corpora. This formulation (a) enables systems to jointly learn NER specific features from varied NER datasets, (b) can use knowledge-text attention to identify words having higher similarity to provided knowledge, improving performance, (c) reduces system confusion by reducing the prediction classes to B, I, O only, and (d) makes detection of nested entities easier. We perform extensive experiments of this KGQA formulation on 18 biomedical NER datasets, and through experiments we note that knowledge helps in achieving better performance. Our problem formulation is able to achieve state-of-the-art results in 12 datasets.

연구 동기 및 목표

• 기존의 다중 클래스 분류 기반 접근 방식을 넘어서, 생물의학 NER에서 발생하는 레이블 오류, 클래스 혼동, 데이터 부족 문제를 해결하기 위해 작업을 재구성하는 것.
• 예측을 단순히 B, I, O 태깅으로 제한함으로써 다중 엔터티 유형을 동시에 예측할 필요 없이 시스템의 혼동을 줄이는 것.
• 외부 지식인 정의, 예시, 엔터티 유형을 맥락 프롬프트로 통합하여 내재적 또는 드문 엔터티의 탐지 성능을 향상시키는 것.
• 18개의 다양한 생물의학 NER 데이터셋 간의 공동 학습을 가능하게 하기 위해 통합된 지식 증강 훈련 프레임워크를 구축하는 것.
• 다양한 생물의학 분야와 엔터티 유형 간의 전이 학습 성능 및 모델 일반화 능력을 평가하는 것.

제안 방법

• 각 입력이 텍스트 맥락과 지식 프롬프트(예: '질병은 무엇인가요?', '질병: 건강에 영향을 미치는 의학적 상태입니다.')로 구성되는 다중 답변 지식 유도형 질의응답 작업으로 NER를 재구성한다.
• 로컬 컨볼루션 특징을 사용해 토큰 표현을 보다 정교하게 다듬어 엔터티 경계를 더 잘 식별할 수 있도록 하는 재맥락화 레이어인 BERT-CNN을 도입한다.
• 18개의 생물의학 문헌에서 유래한 통합 데이터셋을 사용하며, 훈련 샘플 398,495개, 검증 샘플 148,166개, 테스트 샘플 502,306개로 구성되며, 각 샘플은 지식 맥락으로 풍부하게 보강된다.
• 백본 모델로 BERT-base를 사용하고, BIO 태깅을 적용한 KGQA 기반 NER 작업에 대해 엔드 투 엔드로 미세조정한다.
• 입력 시퀀스의 각 토큰에 대해 지식 맥락의 관련성을 동적으로 가중치를 매기는 지식-텍스트 어텐션 메커니즘을 적용한다.
• 원본 도메인에서 훈련하고 타겟 도메인에서 평가함으로써 전이 학습을 수행하여 도메인 간 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 NER를 지식 유도형 QA 작업으로 재구성함으로써 생물의학 엔터티 인식에서 발생하는 레이블 오류와 혼동을 줄일 수 있는가?
• RQ2 정의, 예시, 엔터티 유형 질문과 같은 다양한 지식 유형의 통합이 NER 성능에 어떤 영향을 미치는가?
• RQ3 다양한 엔터티 유형과 도메인 특성을 지닌 다수의 생물의학 NER 데이터셋 간에 단일의 공동 학습 모델이 얼마나 잘 일반화되는가?
• RQ4 재맥락화 기능을 갖춘 제안된 BERT-CNN 모델이 정확도 기반 F1 점수와 드문 또는 내재된 엔터티에 대한 강건성 측면에서 기존 BERT 기반 NER 모델을 능가하는가?
• RQ5 다양한 생물의학 도메인 간에 제로샷 또는 피처샷 전이 학습에서 모델의 효과는 어떠한가?

주요 결과

• 지식 유도형 QA 접근 방식은 NER 성능을 크게 향상시켜, 공개된 18개 생물의학 NER 데이터셋 중 12개에서 최고 성능을 기록했다.
• 강력한 기준 모델인 전통적 NER에 맞추어 미세조정한 BERT-large 모델 대비 정확도 기반 F1 점수에서 1.5%에서 11%까지 향상되었다.
• 전이 학습 실험 결과, 도메인 간 일반화 능력이 뛰어나 엔터티 유형에 따라 F1 점수의 하락 폭이 0.5%에서 20% 수준이었으며, 고도의 OOV 문제에 직면한 화학 엔터티에 대해서도 F1 점수 75%를 유지했다.
• 전이 학습에서 'Problem'(문제) 엔터티의 F1 점수는 94.43, 'Test'(검사) 엔터티의 F1 점수는 94.85를 기록하여, 서로 유사한 엔터티 유형 간의 강력한 일치를 보였다.
• 지식-텍스트 어텐션의 활용으로 더 나은 해석 가능성과 관련 지식에 대한 집중도 향상이 이루어져, 모호하거나 드문 엔터티의 탐지 성능이 향상되었다.
• BERT-CNN 재맥락화 레이어는 토큰 표현을 효과적으로 다듬어, 특히 내재된 복잡한 경우에서 엔터티 경계 탐지 정확도를 높였다.