[논문 리뷰] ClimateBert: A Pretrained Language Model for Climate-Related Text

Nicolas Webersinke, Mathias Kraus외 2명|arXiv (Cornell University)|2021. 10. 22.

Computational and Text Analysis Methods인용 수 8

한 줄 요약

ClimateBert는 뉴스, 연구 논문, 기업 공시 등에서 수집한 200만 개가 넘는 기후 관련 텍스트 문단을 기반으로 사전 훈련된 도메인 적응형 트랜스포머 기반 언어 모델이다. 이 모델은 마스크된 언어 모델링에서 48% 향상되고, 텍스트 분류, 감성 분석, 사실 확인 등의 하류 작업에서 오류율을 3.57%에서 35.71%까지 감소시켜 일반 도메인 모델에 비해 기후 특화 NLP 작업에서 뛰어난 성능을 보였다.

ABSTRACT

Over the recent years, large pretrained language models (LM) have revolutionized the field of natural language processing (NLP). However, while pretraining on general language has been shown to work very well for common language, it has been observed that niche language poses problems. In particular, climate-related texts include specific language that common LMs can not represent accurately. We argue that this shortcoming of today's LMs limits the applicability of modern NLP to the broad field of text processing of climate-related texts. As a remedy, we propose CLIMATEBERT, a transformer-based language model that is further pretrained on over 2 million paragraphs of climate-related texts, crawled from various sources such as common news, research articles, and climate reporting of companies. We find that CLIMATEBERT leads to a 48% improvement on a masked language model objective which, in turn, leads to lowering error rates by 3.57% to 35.71% for various climate-related downstream tasks like text classification, sentiment analysis, and fact-checking.

연구 동기 및 목표

• 일반 목적 언어 모델이 기후 특화 용어와 어휘를 정확히 표현하는 데에 한계가 있음을 해결하기 위해.
• 기후 과학 및 정책 분야에서 NLP 성능을 향상시키기 위해 다양한 고품질 기후 관련 텍스트를 기반으로 사전 훈련된 전문화된 언어 모델을 개발하기 위해.
• 텍스트 분류, 감성 분석, 사실 확인과 같은 하류 기후 NLP 작업에서 뚜렷한 성능 향상을 입증하기 위해.
• GitHub와 Hugging Face를 통해 훈련 코드, 모델 가중치, 하이퍼파라미터를 공개하여 개방 과학을 촉진하기 위해.
• 모델의 환경 영향을 최소화하기 위해 소형화된 모델(Distil RoBERTa)을 사용하고, 효율적인 데이터 수집 및 대기오염 방지 기부를 통해 탄소 보정을 실시하기 위해.

제안 방법

• 뉴스, 과학 논문, 기업 기후 보고서에서 수집한 200만 개의 기후 관련 텍스트 문단으로 구성된 대규모이고 정제된 코퍼스를 기반으로 기본 Distil RoBERTa 모델을 사전 훈련하였다.
• 기후 특화 텍스트로 기본 모델을 미세조정하여 도메인 적응형 사전 훈련을 수행함으로써 도메인 특화된 언어 패턴과 용어를 학습하였다.
• 사전 훈련 중 주요 목적은 마스크된 언어 모델링(MLM)이며, 도메인 적응 효과를 평가하기 위한 핵심 지표로 손실 감소를 사용하였다.
• 텍스트 분류(기후 리스크/기회 진술), 기업 공시의 감성 분석, 기후 주장을 사실 확인하는 세 가지 하류 작업에서 성능을 평가하였다.
• 계산 비용과 탄소 배출을 줄이기 위해 최소한의 하이퍼파라미터 튜닝을 적용한 경량 훈련 전략을 사용하여 효율적이고 재현 가능한 훈련을 지향하였다.
• 모델의 탄소 발자국을 보완하기 위해 대기오염 방지 기부 기금으로서 100유로를 atmosfair에 기부함으로써 산림 복원 기반 탄소 보정에 의존하지 않았다.

실험 결과

연구 질문

• RQ1 기후 특화 텍스트에 대한 도메인 적응형 사전 훈련이 일반 도메인 모델에 비해 하류 기후 NLP 작업에서 언어 모델 성능을 크게 향상시키는가?
• RQ2 기후 전용 코퍼스에서 훈련된 경우, ClimateBert의 마스크된 언어 모델링 손실은 기준 모델 대비 어떻게 비교되는가?
• RQ3 ClimateBert는 기후 변화 관련 텍스트 분류, 감성 분석, 사실 확인 작업에서 오류율을 얼마나 감소시키는가?
• RQ4 기후 특화 언어 모델을 훈련시키는 데서 발생하는 환경 비용은 무엇이며, 성능을 희생시키지 않고 어떻게 완화할 수 있는가?
• RQ5 Distil RoBERTa와 같은 소형화된 모델이 탄소 배출을 최소화하면서도 기후 NLP 분야에서 최첨단 성능을 달성할 수 있는가?

주요 결과

• ClimateBert는 기후 특화 코퍼스에서 기본 Distil RoBERTa 모델 대비 마스크된 언어 모델링 손실을 상대적으로 48% 감소시켰다.
• 텍스트 분류 작업에서 기준 모델 대비 오류율을 3.57% 감소시켰으며, 가중치 F1 스코어는 0.757을 기록하여 이전 최첨단 성능을 초월하였다.
• 기업 기후 공시의 감성 분석에서 ClimateBert는 가중치 F1 스코어 0.757을 기록하여 기준 모델 대비 오류율을 35.71% 감소시켰다.
• Climate-Fever 데이터셋에서 기후 주장을 사실 확인하는 작업에서 ClimateBert는 가중치 F1 스코어 0.757을 기록하여 이전 최첨단 모델보다 3.89%포인트 높은 성능을 보였다.
• 모델의 탄소 발자국은 115.15kg CO2e로 측정되었으며, 이는 모델 효율성, 데이터 품질 제어 및 대기오염 방지 기부를 통해 보정되었다. 이 기부는 재생 가능 에너지 및 청정 기술 프로젝트를 지원하는 비영리 단체 atmosfair에 기부된 100유로로 이루어졌다.
• ClimateBert의 성능 향상은 모든 세 가지 하류 작업에서 일관되게 나타나, 기후 관련 NLP 응용 분야에서 도메인 적응형 사전 훈련의 가치를 입증하였다.