[논문 리뷰] Transfer Learning for Scientific Data Chain Extraction in Small Chemical Corpus with BERT-CRF Model

Na Pang, Qian Li외 2명|arXiv (Cornell University)|2019. 05. 13.

Advanced Text Analysis Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 과학적 데이터 체인 구축을 위해 7개의 핵심 엔터티—화합물, 용매, 방법, 결합, 반응, pKa, pKa 값—과 그 관계를 추출하기 위해 작은 새로 작성된 화학 어휘집에 맞춤형으로 조정된 BERT-CRF 모델을 제안한다. 공동 엔터티 및 관계 추출 접근법은 화학 특수 어휘집에서 최고 성능을 달성하여 자원이 제한된 화학 NLP 환경에서 강력한 전이 학습 효과를 입증한다.

ABSTRACT

Computational chemistry develops fast in recent years due to the rapid growth and breakthroughs in AI. Thanks for the progress in natural language processing, researchers can extract more fine-grained knowledge in publications to stimulate the development in computational chemistry. While the works and corpora in chemical entity extraction have been restricted in the biomedicine or life science field instead of the chemistry field, we build a new corpus in chemical bond field annotated for 7 types of entities: compound, solvent, method, bond, reaction, pKa and pKa value. This paper presents a novel BERT-CRF model to build scientific chemical data chains by extracting 7 chemical entities and relations from publications. And we propose a joint model to extract the entities and relations simultaneously. Experimental results on our Chemical Special Corpus demonstrate that we achieve state-of-art and competitive NER performance.

연구 동기 및 목표

• 계산 화학 분야에서 애초에 애너테이션된 화학 어휘집이 부족한 문제를 해결하기 위해 화합물 엔터티와 관계를 위한 새로운 도메인 전용 데이터셋을 구축한다.
• 제한된 화학 텍스트 어휘집에서 정밀한 과학적 데이터를 효과적으로 추출할 수 있는 전이 학습 접근법을 개발한다.
• 과학적 데이터 체인 구축을 지원하기 위해 화합물 엔터티와 그 관계를 동시에 추출하는 공동 모델을 구축한다.
• BERT-CRF를 사용하여 소규모 전문화된 화학 어휘집에서 명명된 엔터티 인식(NER) 분야에서 최고 성능을 입증한다.

제안 방법

• 과학적 데이터 체인 추출을 위해 7종류의 엔터티—화합물, 용매, 방법, 결합, 반응, pKa, pKa 값—를 애너테이션한 새로운 화학 어휘집인 화학 특수 어휘집을 구축하였다.
• BERT의 문맥적 임베딩을 활용하여 시퀀스 레이블링을 수행하기 위해 어휘집에 대해 BERT-CRF 모델을 미세조정하였다.
• 엔터티와 그 관계를 동시에 추출하는 공동 모델을 설계하여 종단 간 데이터 체인 구축을 향상시켰다.
• BERT 인코더를 사전 학습된 가중치로 초기화하고 소규모 화학 어휘집에서 미세조정하여 일반화 능력을 향상시키기 위해 전이 학습을 적용하였다.
• 라벨 간 의존성을 모델링하고 시퀀스 레이블링 정확도를 향상시키기 위해 BERT 위에 CRF 레이어를 사용하였다.
• 성능 평가를 위해 표준 NER 메트릭(예: F1 점수)을 사용하여 화학 특수 어휘집에서 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 제한된 애너테이션 데이터를 가진 소규모 전문화된 화학 어휘집에서 BERT-CRF 모델이 높은 성능의 명명된 엔터티 인식(NER)을 달성할 수 있는가?
• RQ2 기존 모델과 비교해 볼 때, BERT를 사용한 전이 학습이 화학 분야의 과학적 데이터 체인 추출에 얼마나 효과적인가?
• RQ3 공동 엔터티 및 관계 추출이 화학 논문에서 과학적 데이터 체인의 품질과 일관성에 향상 효과를 줄 수 있는가?
• RQ4 도메인 전용 미세조정이 화학 NLP 작업을 위한 BERT 기반 모델에 어떤 영향을 미치는가?

주요 결과

• 제안된 BERT-CRF 모델은 화학 특수 어휘집에서 최고 성능을 달성하여 기존 방법보다 명명된 엔터티 인식에서 뛰어난 성능을 보였다.
• 모델는 자원이 제한된 화학 텍스트에서도 강력한 일반화 능력을 보여주었으며, 소규모 화학 어휘집에서 전이 학습의 효과성을 입증하였다.
• 공동 엔터티 및 관계 추출은 파ipel라인 접근 방식에 비해 데이터 체인의 완전성과 정확도를 향상시켰다.
• 화합물, 용매, 방법과 같은 핵심 엔터티의 F1 점수가 경쟁 수준에 도달하여 다양한 화학 엔터티 유형에서 견고한 성능을 보였다.
• 도메인 전용 화학 텍스트에서 BERT를 미세조정함으로써 엔터티 인식 품질이 크게 향상됨을 확인하였다.
• 본 연구는 전이 학습을 활용한 계산 화학 분야에서 과학적 데이터 체인 추출의 새로운 벤치마크를 수립하였다.