[논문 리뷰] Clinical Relation Extraction Using Transformer-based Models

Xi Yang, Zehao Yu외 3명|arXiv (Cornell University)|2021. 07. 19.

Topic Modeling참고 문헌 62인용 수 13

한 줄 요약

이 연구는 2018년 MADE1.0 및 n2c2 도전 대회에서 공개된 두 개의 공개 데이터셋을 사용하여 BERT, RoBERTa 및 XLNet의 임상 관계 추출 성능을 평가한다. RoBERTa-clinical RE는 MADE1.0에서 F1 스코어 0.8958을 달성하였고, XLNet-clinical은 n2c2에서 F1 스코어 0.9610을 기록하였다. 이는 이진 분류 전략이 다중 분류 전략보다 우수했으며, 생물의학 NLP 분야의 발전을 위해 오픈소스 모델을 공개한 바 있다.

ABSTRACT

The newly emerged transformer technology has a tremendous impact on NLP research. In the general English domain, transformer-based models have achieved state-of-the-art performances on various NLP benchmarks. In the clinical domain, researchers also have investigated transformer models for clinical applications. The goal of this study is to systematically explore three widely used transformer-based models (i.e., BERT, RoBERTa, and XLNet) for clinical relation extraction and develop an open-source package with clinical pre-trained transformer-based models to facilitate information extraction in the clinical domain. We developed a series of clinical RE models based on three transformer architectures, namely BERT, RoBERTa, and XLNet. We evaluated these models using 2 publicly available datasets from 2018 MADE1.0 and 2018 n2c2 challenges. We compared two classification strategies (binary vs. multi-class classification) and investigated two approaches to generate candidate relations in different experimental settings. In this study, we compared three transformer-based (BERT, RoBERTa, and XLNet) models for relation extraction. We demonstrated that the RoBERTa-clinical RE model achieved the best performance on the 2018 MADE1.0 dataset with an F1-score of 0.8958. On the 2018 n2c2 dataset, the XLNet-clinical model achieved the best F1-score of 0.9610. Our results indicated that the binary classification strategy consistently outperformed the multi-class classification strategy for clinical relation extraction. Our methods and models are publicly available at https://github.com/uf-hobi-informatics-lab/ClinicalTransformerRelationExtraction. We believe this work will improve current practice on clinical relation extraction and other related NLP tasks in the biomedical domain.

연구 동기 및 목표

• 생물의학 분야에서 임상 관계 추출을 위한 트랜스포머 기반 모델—BERT, RoBERTa 및 XLNet—을 체계적으로 평가하는 것.
• 임상 관계 추출에서 이진 분류 전략과 다중 분류 전략 간의 성능 비교.
• 다양한 실험 설정에서 두 가지 후보 관계 생성 방법의 영향을 조사하는 것.
• 향후 임상 NLP 연구를 지원하기 위해 오픈소스 임상 미리 훈련된 트랜스포머 모델을 개발하고 공개하는 것.
• 도메인 특화 미리 훈련을 통한 전이 학습을 활용하여 임상 관계 추출 분야의 최신 기술 수준을 향상시키는 것.

제안 방법

• 도메인 특화 미리 훈련을 사용하여 임상 관계 추출 작업에 BERT, RoBERTa 및 XLNet의 세 가지 트랜스포머 아키텍처를 피지테이닝하였다.
• 이중 분류(관계 vs. 관계 없음)와 다중 분류(구체적인 관계 유형)의 두 가지 분류 전략을 적용하였다.
• 규칙 기반 및 신경 기반 방법의 두 가지 다른 방식을 사용하여 후보 관계를 생성하였다.
• 2018년 MADE1.0 및 2018년 n2c2 임상 관계 추출 도전 대회에서의 벤치마크 데이터셋 두 개를 평가에 사용하였다.
• 모델 평가 및 비교를 위해 표준 NLP 메트릭—정밀도, 재현율 및 F1 스코어—를 사용하였다.
• 재현성 및 향후 연구 지원을 위해 훈련된 모델과 코드를 오픈소스 패키지로 공개하였다.

실험 결과

연구 질문

• RQ1 BERT, RoBERTa 또는 XLNet 중 어느 트랜스포머 기반 모델이 임상 관계 추출 작업에서 가장 우수한 성능을 보였는가?
• RQ2 임상 관계 추출에서 이진 분류가 다중 분류보다 성능이 뛰어나게 작용하는가?
• RQ3 다른 후보 관계 생성 방법은 모델 성능에 어떤 영향을 미치는가?
• RQ4 도메인 특화 미리 훈련된 트랜스포머 모델은 일반 도메인 모델을 초월하여 임상 관계 추출 성능을 향상시킬 수 있는가?
• RQ5 트랜스포머 기반 아키텍처를 사용한 임상 관계 추출에 최적의 설정은 무엇인가?

주요 결과

• RoBERTa-clinical RE 모델은 2018년 MADE1.0 데이터셋에서 최고의 F1 스코어 0.8958을 기록하였다.
• XLNet-clinical 모델은 2018년 n2c2 데이터셋에서 가장 뛰어난 성능을 보이며 F1 스코어 0.9610을 달성하였다.
• 이중 분류 전략은 두 데이터셋과 모든 모델 아키텍처에서 다중 분류 전략보다 일관되게 뛰어난 성능을 보였다.
• 제안된 모델들은 두 벤치마크 데이터셋에서 최고 수준의 성능을 보였으며, 임상 NLP 분야에서 강력한 일반화 능력을 입증하였다.
• 모델과 코드의 오픈소스 공개로 인해 임상 정보 추출 분야에서의 광범위한 활용과 확장이 가능해졌다.
• 이 연구는 트랜스포머 모델의 도메인 적응형 미리 훈련이 임상 관계 추출 분야에서 효과적임을 확인하였다.