[논문 리뷰] EPICURE Ensemble Pretrained Models for Extracting Cancer Mutations from Literature

Jiarun Cao, Elke M. van Veen외 3명|arXiv (Cornell University)|2021. 06. 11.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

EPICURE는 조건부 랜덤 필드와 스파ن 예측 레이어를 갖춘 앙상블 사전학습 모델을 도입하여 생물의학 문헌에서 암 돌연변이를 추출하는 데 성능을 향상시킨다. 벤치마크 데이터셋에서의 데이터 증강과 피니튜닝을 통해, 기존의 규칙 기반 및 저자원 접근 방식의 한계를 극복하고 암 돌연변이에 대한 명명된 엔티티 인식 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To interpret the genetic profile present in a patient sample, it is necessary to know which mutations have important roles in the development of the corresponding cancer type. Named entity recognition is a core step in the text mining pipeline which facilitates mining valuable cancer information from the scientific literature. However, due to the scarcity of related datasets, previous NER attempts in this domain either suffer from low performance when deep learning based models are deployed, or they apply feature based machine learning models or rule based models to tackle this problem, which requires intensive efforts from domain experts, and limit the model generalization capability. In this paper, we propose EPICURE, an ensemble pre trained model equipped with a conditional random field pattern layer and a span prediction pattern layer to extract cancer mutations from text. We also adopt a data augmentation strategy to expand our training set from multiple datasets. Experimental results on three benchmark datasets show competitive results compared to the baseline models.

연구 동기 및 목표

• 생물의학 문헌에서 암 돌연변이 추출을 위한 표본화된 데이터셋의 부족 문제를 해결하기 위해.
• 딥러닝을 활용하여 암 관련 돌연변이에 대한 명명된 엔티티 인식 성능을 향상시키기 위해.
• 사전학습 및 데이터 증강을 통해 전문가가 설계한 규칙나 수작업으로 만든 특징에 대한 의존도를 줄이기 위해.
• 다양한 암 돌연변이 데이터셋과 다양한 표기 체계를 고려하여 일반화 가능한 고성능 모델을 개발하기 위해.

제안 방법

• 모델는 여러 암 돌연변이 데이터셋에서 피니튜닝된 사전학습된 언어 모델의 앙상블을 사용한다.
• 시퀀스 레이블링에서 레이블 간 의존성을 모델링하기 위해 조건부 랜덤 필드(CRF) 레이어를 통합한다.
• 직접적으로 돌연변이 스파니를 식별함으로써 정밀도를 향상시키기 위해 스파인 예측 헤드를 사용한다.
• 다양한 소스 데이터셋에서의 훈련 데이터 확장을 위해 데이터 증강 기법을 적용한다.
• 맥락적 표현과 구조적 예측을 결합하여 엔티티 인식 성능을 향상시킨다.
• 일관된 일반화 및 성능 평가를 위해 세 가지 벤치마크 데이터셋에서 피니튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 CRF와 스파인 예측 레이어를 갖춘 사전학습 모델의 앙상블이 기존 방법보다 암 돌연변이 추출 성능에서 뛰어나게 되는가?
• RQ2 데이터 증강이 저자원 돌연변이 표기 작업에서 모델 성능 향상에 얼마나 효과적인가?
• RQ3 구조적 예측(CRF)과 스파인 탐지의 통합이 생물의학 텍스트에서 엔티티 정위 정확도 향상에 어느 정도 기여하는가?
• RQ4 제안된 모델이 다양한 암 돌연변이 데이터셋과 서로 다른 표기 체계를 가진 데이터셋 간에 일반화 가능한가?
• RQ5 고성능을 유지하면서도 전문가가 수작업으로 만든 특징에 대한 의존도를 줄일 수 있는가?

주요 결과

• EPICURE 모델은 암 돌연변이 추출을 위한 세 가지 벤치마크 데이터셋에서 경쟁 가능한 성능을 달성한다.
• CRF와 스파인 예측 레이어의 통합은 기준 모델 대비 시퀀스 레이블링 정확도를 향상시킨다.
• 데이터 증강은 훈련 데이터 확장을 효과적으로 수행하고 모델의 강건성 및 일반화 능력을 향상시킨다.
• F1 점수와 리콜 측면에서 이전의 규칙 기반 및 특징 설계 기반 접근 방식보다 모델 성능이 뛰어나다.
• 여러 데이터셋에서의 피니튜닝은 다양한 돌연변이 유형과 텍스트 도메인에서 일관된 성능 향상을 이끈다.
• 앙상블 방식은 다양한 생물의학 문헌 출처 간에 강력한 일반화 능력을 보여준다.