[논문 리뷰] NegBERT: A Transfer Learning Approach for Negation Detection and Scope Resolution

Aditya Khandelwal, Suraj Sawant|arXiv (Cornell University)|2019. 11. 11.

Natural Language Processing Techniques참고 문헌 39인용 수 49

한 줄 요약

NegBERT는 BERT를 이용한 전이 학습을 부정 탐지 및 범위 해석에 적용하여 BioScope, Sherlock, SFU 데이터셋의 네 가지 벤치마크에서 토큰 수준 F1에서 최첨단 성능을 달성한다.

ABSTRACT

Negation is an important characteristic of language, and a major component of information extraction from text. This subtask is of considerable importance to the biomedical domain. Over the years, multiple approaches have been explored to address this problem: Rule-based systems, Machine Learning classifiers, Conditional Random Field Models, CNNs and more recently BiLSTMs. In this paper, we look at applying Transfer Learning to this problem. First, we extensively review previous literature addressing Negation Detection and Scope Resolution across the 3 datasets that have gained popularity over the years: the BioScope Corpus, the Sherlock dataset, and the SFU Review Corpus. We then explore the decision choices involved with using BERT, a popular transfer learning model, for this task, and report state-of-the-art results for scope resolution across all 3 datasets. Our model, referred to as NegBERT, achieves a token level F1 score on scope resolution of 92.36 on the Sherlock dataset, 95.68 on the BioScope Abstracts subcorpus, 91.24 on the BioScope Full Papers subcorpus, 90.95 on the SFU Review Corpus, outperforming the previous state-of-the-art systems by a significant margin. We also analyze the model's generalizability to datasets on which it is not trained.

연구 동기 및 목표

• 정보 추출, 특히 생의학 분야에서 부정 탐지 및 범위 해석의 중요성을 강조한다.
• 부정에 대한 기존 접근법과 데이터셋(BioScope, Sherlock, SFU Review Corpus)을 조사한다.
• 부정 작업에 대한 BERT의 전이 학습을 조사하고 강력한 베이스라인을 설정한다.
• 여러 데이터셋에서 최첨단 범위 해석 성능을 보여준다.

제안 방법

• 부정 탐지 및 범위 해석 작업에 BERT 기반 전이 학습을 적용한다.
• 부정 작업에 맞게 BERT를 조정하기 위한 의사결정 선택을 실험한다.
• 확립된 지표를 사용하여 네 가지 데이터셋에서 토큰 수준의 범위 해석 성능을 평가한다.
• 보고된 데이터셋에서 이전 최첨단 시스템과 비교하여 개선을 평가한다.
• 훈련 중 보지 못한 데이터셋에 대한 일반화 분석을 제공한다.

실험 결과

연구 질문

• RQ1 BERT 기반 전이 학습이 기존 방법에 비해 부정 탐지 및 범위 해석을 개선할 수 있는가?
• RQ2 BERT를 부정 범위 작업에 맞게 미세조정하기 위한 최적의 선택은 무엇인가?
• RQ3 NegBERT는 기존 방법과 비교하여 여러 말뭉치(BioScope Abstracts, BioScope Full Papers, Sherlock, SFU)에 대해 어떤 성능을 보이는가?
• RQ4 NegBERT는 보지 않은 데이터셋에 얼마나 잘 일반화되는가?

주요 결과

• NegBERT는 Sherlock에서 토큰 수준 F1 92.36, BioScope Abstracts에서 95.68, BioScope Full Papers에서 91.24, SFU Review Corpus에서 90.95를 달성했다.
• NegBERT는 모든 보고된 데이터셋에서 이전의 최첨단 시스템보다 상당한 여지로 우수한 성능을 보인다.
• 모델은 다양한 부정 말뭉치에 걸쳐 강한 일반화 능력을 보인다.
• 논문은 부정 작업에 BERT를 적용하기 위한 전이 학습 선택에 대한 분석을 제공한다.
• 발견은 NegBERT를 부정 범위 해석의 선도적 접근으로 자리매김한다.