[논문 리뷰] MatSci-NLP: Evaluating Scientific Language Models on Materials Science Language Tasks Using Text-to-Schema Modeling

Yu Song, Santiago Miret외 1명|arXiv (Cornell University)|2023. 05. 14.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 텍스트-스키마 프롬프팅을 사용하여 재료 과학 작업에서 NLP 모델을 평가하기 위한 벤치마크인 MatSci-NLP를 소개한다. 도메인 특화 미사전훈련(예: MatBERT)과 질문-답변에 영감을 받은 새로운 작업-스키마 입력 형식이 저자원 환경에서 성능을 크게 향상시키며, 일곱 가지 재료 과학 NLP 작업 전반에서 표준 파인튜닝을 능가함을 보여준다.

ABSTRACT

We present MatSci-NLP, a natural language benchmark for evaluating the performance of natural language processing (NLP) models on materials science text. We construct the benchmark from publicly available materials science text data to encompass seven different NLP tasks, including conventional NLP tasks like named entity recognition and relation classification, as well as NLP tasks specific to materials science, such as synthesis action retrieval which relates to creating synthesis procedures for materials. We study various BERT-based models pretrained on different scientific text corpora on MatSci-NLP to understand the impact of pretraining strategies on understanding materials science text. Given the scarcity of high-quality annotated data in the materials science domain, we perform our fine-tuning experiments with limited training data to encourage the generalize across MatSci-NLP tasks. Our experiments in this low-resource training setting show that language models pretrained on scientific text outperform BERT trained on general text. MatBERT, a model pretrained specifically on materials science journals, generally performs best for most tasks. Moreover, we propose a unified text-to-schema for multitask learning on \benchmark and compare its performance with traditional fine-tuning methods. In our analysis of different training methods, we find that our proposed text-to-schema methods inspired by question-answering consistently outperform single and multitask NLP fine-tuning methods. The code and datasets are publicly available at \url{https://github.com/BangLab-UdeM-Mila/NLP4MatSci-ACL23}.

연구 동기 및 목표

• 재료 과학 텍스트에 대한 NLP 모델 평가를 위한 종합적이고 표준화된 벤치마크의 부족, 특히 저자원 환경에서의 평가 문제를 해결하기 위해.
• 특히 도메인 특화 미사전훈련 대비 일반 과학적 또는 일반 언어 미사전훈련 전략이 재료 과학 NLP 작업의 최종 성능에 미치는 영향을 조사하기 위해.
• 다양한 재료 과학 NLP 작업 전반에서 모델 일반화 능력과 성능 향상을 향상시키기 위한 통합된 텍스트-스키마 프레임워크를 설계하고 평가하기 위해.
• 제한된 애너테이션 데이터가 존재하는 상황에서 기존 파인튜닝과 새로운 스키마 기반 프롬프팅 방법의 효과성을 비교하기 위해.

제안 방법

• 공개된 재료 과학 텍스트를 활용하여 명시적 개체 인식, 관계 분류, 합성 동작 검색 등 일곱 가지 다른 NLP 작업을 포함하는 MatSci-NLP를 벤치마크로 구축하였다.
• 학습 효율성을 향상시키기 위해 질문-답변에 영감을 받은 다양한 텍스트 입력 스키마를 설계하였으며, 작업별 및 다중 작업 형식을 포함하였다.
• 모든 작업 간 입력을 통합하기 위해 구조화된 질문-답변 스타일 프롬프트를 사용하는 새로운 작업-스키마 입력 형식을 제안하였다.
• 저자원 조건 하에서 MatSci-NLP 벤치마크에 다양한 BERT 기반 모델(일반 BERT에서 도메인 특화 모델인 MatBERT, SciBERT 등)을 파인튜닝하였다.
• 일곱 가지 작업 전반에서 표준 NLP 메트릭(예: F1, 정확도)을 사용하여 모델 성능을 평가하였으며, 스키마 기반 프롬프팅과 단일 작업 및 다중 작업 파인튜닝을 비교하였다.
• 제안된 텍스트-스키마 방법을 위한 통합된 인코더-디코더 아키텍처를 활용하여 다양한 도메인과 작업 간 모듈러한 적응을 가능하게 하였다.

Figure 1: Example of different question-answering inspired textual input schemas (Task-Schema , Potential Choices, Example) applied on MatSci-NLP. The input of the language model includes the shared text (green) along with relevant task details (blue for NER and orange for event extraction). The sha

실험 결과

연구 질문

• RQ1 재료 과학 분야에서 미사전훈련된 언어 모델이 일반 또는 과학적 미사전훈련 모델에 비해 재료 과학 NLP 작업에서 성능에 어떤 영향을 미치는가?
• RQ2 특히 질문-답변에 영감을 받은 다양한 텍스트 입력 스키마가 저자원 환경에서 학습 효율성과 모델 성능에 어떤 영향을 미치는가?
• RQ3 통합된 텍스트-스키마 다중 작업 프레임워크가 다양한 재료 과학 NLP 작업 전반에서 기존 단일 작업 및 다중 작업 파인튜닝 접근 방식을 능가할 수 있는가?
• RQ4 도메인 특화 미사전훈련과 구조화된 입력 스키마가 재료 과학 NLP 응용 분야에서 일반화 능력과 강건성에 얼마나 기여하는가?

주요 결과

• 재료 과학 저널에 특화되어 미사전훈련된 MatBERT는 MatSci-NLP 벤치마크 전반에서 대부분의 작업에서 최고의 성능을 기록하였다.
• 과학 문헌 코퍼스에 미사전훈련된 언어 모델(예: SciBERT)은 일반 도메인 BERT를 능가했으며, 일부 경우에서 MatSciBERT나 BatteryBERT와 같은 다른 도메인 특화 모델보다도 뛰어난 성능을 보였다.
• 질문-답변에 영감을 받은 제안된 작업-스키마 입력 형식은 모든 평가된 모델과 작업에서 단일 작업 및 표준 다중 작업 파인튜닝을 모두 능가하는 일관된 성능을 보였다.
• 텍스트-스키마 프롬프팅은 저자원 환경에서 모델 일반화 능력을 크게 향상시켰으며, 이는 구조화된 입력 설계가 모델 아키텍처나 미사전훈련 데이터만큼 영향을 미칠 수 있음을 보여준다.
• 연구 결과, 작업-스키마 방법으로 파인튜닝된 모델들은 기존 파인튜닝 대비 모든 작업 평균 F1 점수가 높게 나타나 학습 효율성이 향상되었음을 시사한다.
• 제한된 데이터 조건에서도 철저한 스키마 설계가 기억화 위험을 완화하고 단순한 패턴 매칭을 넘어서 이해 능력을 향상시킬 수 있음을 발견하였다.

Figure 2: Unified text-to-schema method for MatSci-NLP text understanding applied across the seven tasks. The language model includes a domain specific encoder, which can be exchanged in a modular manner, as well as a general language pretrained transformer decoder.