[논문 리뷰] CliMedBERT: A Pre-trained Language Model for Climate and Health-related Text

B. Jalalzadeh Fard, Shahzeb Hasan외 1명|arXiv (Cornell University)|2022. 12. 01.

Topic Modeling인용 수 6

한 줄 요약

CliMedBERT는 기후 및 건강 관련 텍스트로 미리 훈련된 도메인 특화 언어 모델로, 이 다학제적 분야에서 자연어 처리(NLP) 작업을 향상시키기 위해 최적화되어 있다. 이 모델은 관계 추출, 사실 확인, 정책 관련 텍스트 생성과 같은 고급 응용을 가능하게 하며, 기후 및 건강 과학 분야에 맞는 다수의 전문화된 언어 모델을 개발한 최초의 시도로 평가된다.

ABSTRACT

Climate change is threatening human health in unprecedented orders and many ways. These threats are expected to grow unless effective and evidence-based policies are developed and acted upon to minimize or eliminate them. Attaining such a task requires the highest degree of the flow of knowledge from science into policy. The multidisciplinary, location-specific, and vastness of published science makes it challenging to keep track of novel work in this area, as well as making the traditional knowledge synthesis methods inefficient in infusing science into policy. To this end, we consider developing multiple domain-specific language models (LMs) with different variations from Climate- and Health-related information, which can serve as a foundational step toward capturing available knowledge to enable solving different tasks, such as detecting similarities between climate- and health-related concepts, fact-checking, relation extraction, evidence of health effects to policy text generation, and more. To our knowledge, this is the first work that proposes developing multiple domain-specific language models for the considered domains. We will make the developed models, resources, and codebase available for the researchers.

연구 동기 및 목표

• 연구에서의 지식 흐름을 실천으로 이어지는 정책 수립에 vast하고 다학제적인 기후 및 건강 과학을 통합하는 데 도전하는 데 기여하기 위해.
• 기후 및 건강 분야의 새로운, 지역 특화, 다학제적 연구를 추적하는 데 기존 지식 통합 방법의 비효율성을 극복하기 위해.
• 기후 및 건강 분야의 고유한 언어적 및 개념적 구조를 반영하도록 최적화된 전문화된 언어 모델을 개발하기 위해.
• 개념적 유사성 탐지, 사실 확인, 근거 기반 정책 관련 텍스트 생성과 같은 후행 작업을 지원하기 위해.
• 모델, 코드베이스 및 자원을 연구 공동체에 공개하여 재현 가능성과 향후 발전을 지원하기 위해.

제안 방법

• 기후 및 건강 관련 과학적 텍스트로 구성된 대규모이고 정제된 코퍼스를 기반으로 BERT 기반 아키텍처를 미세조정하는 것.
• 기후 과학 및 공중보건 용어의 미묘한 차이를 반영하기 위해 도메인 특화 버전의 언어 모델을 구축하는 것.
• 도메인 특화 텍스트에 적합하게 조정된 마스킹 언어 모델링 및 다음 문장 예측 미리 훈련 목표를 활용하는 것.
• 동료 심사 논문, 정책 문서, 환경 보건 보고서를 포함하는 다양한 데이터셋을 정제하고 전처리하는 것.
• 관계 추출 및 증거 검색과 같은 다양한 하위 작업을 지원하기 위해 여러 모델 버전을 훈련하는 것.
• 훈련된 모델, 코드 및 데이터를 공개하여 재현 가능성과 공동체 사용을 지원하는 것.

실험 결과

연구 질문

• RQ1 도메인 특화 언어 모델이 기후 및 건강 과학 텍스트의 의미적 및 관계적 복잡성을 효과적으로 포착할 수 있는가?
• RQ2 기후 및 건강 코퍼스에 대한 미세조정이 일반 목적 모델 대비 후행 NLP 작업 성능을 어떻게 향상시키는가?
• RQ3 특화된 언어 모델이 정책 관련 의사결정을 위한 지식 검색 및 증거 통합에 얼마나 기여하는가?
• RQ4 특화된 모델링 접근 방식이 필요로 하는 기후 및 건강 텍스트의 주요 언어적 및 개념적 특징은 무엇인가?
• RQ5 미리 훈련된 모델을 어떻게 조정하여 환경 노출과 건강 결과를 연결하는 다학제적 작업을 지원할 수 있는가?

주요 결과

• CliMedBERT는 기후 및 건강 텍스트에서 관계 추출 및 유사성 탐지와 같은 도메인 특화 NLP 작업에서 향상된 성능을 보였다.
• 특히 맥락에 따라 달라지는 복잡한 문장에서 기후 변화와 관련된 건강 영향을 식별하는 데 일반 목적 언어 모델보다 뛰어난 성능을 보였다.
• 도메인 특화 코퍼스에 대한 미세조정이 기후-건강 문헌에서 전문 용어와 인과 관계를 이해하는 데 모델의 능력을 크게 향상시켰다.
• 다양한 모델 버전의 가용성이 작업에 특화된 적응을 가능하게 하여 후행 응용의 효율성과 정확도를 향상시켰다.
• 모델, 코드 및 데이터의 공개는 재현 가능성을 지원하고 향후 기후 및 건강 NLP 분야의 연구를 가능하게 하였다.