[논문 리뷰] Resolving the Scope of Speculation and Negation using Transformer-Based Architectures

Benita Kathleen Britto, Aditya Khandelwal|arXiv (Cornell University)|2020. 01. 09.

Topic Modeling참고 문헌 21인용 수 11

한 줄 요약

이 논문은 BERT, XLNet, RoBERTa를 사용하여 의심 및 부정 범위 해석을 수행하며, BioScope 및 SFU 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 여러 데이터셋에 대한 공동 학습은 성능을 향상시키며, XLNet은 BERT 및 RoBERTa보다 일관되게 뛰어난 성능을 보이며, 특히 범위 해석과 같은 시퀀스 레이블링 작업에서 두각을 나타낸다.

ABSTRACT

Speculation is a naturally occurring phenomena in textual data, forming an integral component of many systems, especially in the biomedical information retrieval domain. Previous work addressing cue detection and scope resolution (the two subtasks of speculation detection) have ranged from rule-based systems to deep learning-based approaches. In this paper, we apply three popular transformer-based architectures, BERT, XLNet and RoBERTa to this task, on two publicly available datasets, BioScope Corpus and SFU Review Corpus, reporting substantial improvements over previously reported results (by at least 0.29 F1 points on cue detection and 4.27 F1 points on scope resolution). We also experiment with joint training of the model on multiple datasets, which outperforms the single dataset training approach by a good margin. We observe that XLNet consistently outperforms BERT and RoBERTa, contrary to results on other benchmark datasets. To confirm this observation, we apply XLNet and RoBERTa to negation detection and scope resolution, reporting state-of-the-art results on negation scope resolution for the BioScope Corpus (increase of 3.16 F1 points on the BioScope Full Papers, 0.06 F1 points on the BioScope Abstracts) and the SFU Review Corpus (increase of 0.3 F1 points).

연구 동기 및 목표

• 트랜스포머 기반 아키텍처를 사용하여 생물의학 텍스트에서 의심 및 부정 범위 해석을 향상시키기.
• 여러 데이터셋에 대한 공동 학습이 모델의 일반화 능력과 성능을 향상시키는지 조사하기.
• BERT, XLNet, RoBERTa가 의심 및 부정과 관련된 시퀀스 레이블링 작업에서 얼마나 효과적인지 비교하기.
• RoBERTa가 표준 GLUE 벤치마크에서 강력한 성능을 보이는 데도 불구하고, 이 맥락에서 XLNet이 RoBERTa를 능가하는 이유를 규명하기.
• 공개된 데이터셋에서 의심 및 부정 범위 해석 작업 모두에 대해 최신 기술 수준의 성능을 확립하기.

제안 방법

• 시퀀스 레이블링을 통한 토큰 수준 분류를 사용하여, 의심 및 부정 탐지 작업에 대해 BERT, XLNet, RoBERTa 세 가지 트랜스포머 모델을 미세조정하였다.
• 각 데이터셋에 대해 표준 70-15-15 훈련-검증-테스트 분할을 적용하였으며, 단일 데이터셋 학습에는 5회 반복, 공동 학습에는 3회 반복을 실시하였다.
• Google Colab에서 Hugging Face의 PyTorch 구현을 사용하여 모델 학습 및 추론을 수행하였다.
• 여러 데이터셋(BF, BA, SFU)의 훈련 및 검증 세트를 병합하여 공동 학습을 수행하였으며, 평가를 위해 테스트 세트는 별도로 유지하였다.
• 표준 토크나이저 및 레이블 인코딩(1: 정상 쿠, 2: 다중어휘 쿠, 3: 쿠가 아님, 4: 패딩)을 사용하여 시퀀스 레이블링을 수행하였다.
• 모델 평가에 F1 점수를 사용하였으며, 쿠 탐지 및 범위 해석 모두에 대해 결과를 반복 횟수 평균을 통해 통계적 안정성을 확보하였다.

실험 결과

연구 질문

• RQ1 BERT, XLNet, RoBERTa와 같은 트랜스포머 기반 모델이 의심 및 부정 범위 해석 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 BioScope 개요, BioScope 전문, SFU 리뷰 코퍼스와 같은 여러 데이터셋에 대해 공동 학습을 수행할 경우, 단일 데이터셋 학습 대비 모델의 일반화 능력과 성능이 향상되는가?
• RQ3 RoBERTa가 표준 NLP 벤치마크에서 뛰어난 성능을 보이는 데도 불구하고, 이 작업에서 XLNet이 RoBERTa를 능가하는 이유는 무엇인가?
• RQ4 생물의학 텍스트의 도메인 특성은 모델 성능과 이식 가능성에 얼마나 영향을 미치는가?
• RQ5 동일한 모델 아키텍처가 의심 및 부정 범위 해석 작업 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 여러 데이터셋에 대한 공동 학습은 모든 모델에서 성능 향상을 이끌었으며, BioScope 전문 논문 데이터셋에서 의심 탐지에 최대 10.6 F1 포인트, 범위 해석에 2.16 F1 포인트의 향상이 있었다.
• XLNet은 모든 데이터셋에서 의심 및 부정 작업 모두에서 가장 높은 F1 점수를 기록하였으며, BERT 및 RoBERTa를 일관되게 능가하였다.
• 의심 범위 해석 작업에서 XLNet은 BioScope 개요 데이터셋에서 이전 작업 대비 4.27 F1 포인트 향상되었고, BioScope 전문 논문 데이터셋에서는 8.06 F1 포인트 향상되었다.
• 부정 범위 해석 작업에서 XLNet은 BioScope 전문 논문 데이터셋에서 3.16 F1 포인트 향상되었고, SFU 리뷰 코퍼스에서는 0.3 F1 포인트 향상되어 새로운 SOTA 결과를 수립하였다.
• XLNet과 RoBERTa 간의 성능 격차는 표준 GLUE 벤치마크보다 시퀀스 레이블링 작업에서 더 두드러졌으며, 이는 아키텍처 차이가 시퀀스 수준 예측에서 더 중요하다는 것을 시사한다.
• SFU 리뷰 코퍼스는 BioScope 데이터셋보다 더 우수한 교차 데이터셋 일반화 성능를 보였으며, 도메인 및 문장 구조의 차이로 인해 가능성이 있다.