[论文解读] CliMedBERT: A Pre-trained Language Model for Climate and Health-related Text

B. Jalalzadeh Fard, Shahzeb Hasan+1 more|arXiv (Cornell University)|Dec 1, 2022

Topic Modeling被引用 6

一句话总结

CliMedBERT 是一种针对气候与健康领域的预训练语言模型，通过在气候与健康相关文本上进行微调，以提升该跨学科领域中的自然语言处理任务性能。它支持关系抽取、事实核查和政策相关文本生成等高级应用，是首个致力于为气候与健康科学开发多个专业化语言模型的尝试。

ABSTRACT

Climate change is threatening human health in unprecedented orders and many ways. These threats are expected to grow unless effective and evidence-based policies are developed and acted upon to minimize or eliminate them. Attaining such a task requires the highest degree of the flow of knowledge from science into policy. The multidisciplinary, location-specific, and vastness of published science makes it challenging to keep track of novel work in this area, as well as making the traditional knowledge synthesis methods inefficient in infusing science into policy. To this end, we consider developing multiple domain-specific language models (LMs) with different variations from Climate- and Health-related information, which can serve as a foundational step toward capturing available knowledge to enable solving different tasks, such as detecting similarities between climate- and health-related concepts, fact-checking, relation extraction, evidence of health effects to policy text generation, and more. To our knowledge, this is the first work that proposes developing multiple domain-specific language models for the considered domains. We will make the developed models, resources, and codebase available for the researchers.

研究动机与目标

• 为解决将大量、多学科的气候与健康科学整合到政策制定中的挑战，改善研究成果向实践的知识流动。
• 克服传统知识综合方法在追踪气候与健康领域中新型、地域特定及跨学科研究方面的低效性。
• 开发针对气候与健康领域独特语言与概念结构的专用语言模型。
• 支持下游任务，如检测概念相似性、事实核查以及生成基于证据的政策相关文本。
• 向研究社区发布模型、代码库和资源，以支持可复现性与进一步开发。

提出的方法

• 在大规模、经过筛选的气候与健康相关科学文本语料库上微调基于 BERT 的架构。
• 创建针对特定领域的语言模型变体，以捕捉气候科学与公共卫生术语中的细微差别。
• 采用适配于领域特定文本的掩码语言建模和下一句预测预训练目标。
• 整理并预处理一个涵盖同行评审文献、政策文件和环境健康报告的多样化数据集。
• 训练多种模型变体，以支持关系抽取和证据检索等不同子任务。
• 公开提供训练好的模型、代码和数据，以支持可复现性与社区使用。

实验结果

研究问题

• RQ1 专用领域语言模型能否有效捕捉气候与健康科学文本中的语义与关系复杂性？
• RQ2 在气候与健康语料库上进行微调，相较于通用模型，能否显著提升下游自然语言处理任务的性能？
• RQ3 专用语言模型在多大程度上能增强知识检索与证据综合能力，以支持与政策相关的决策制定？
• RQ4 气候与健康文本中哪些关键语言与概念特征需要定制化的建模方法？
• RQ5 预训练模型如何被适配以支持如环境暴露与健康结果关联等跨学科任务？

主要发现

• CliMedBERT 在气候与健康文本的关系抽取和相似性检测等专用领域自然语言处理任务中表现出更优性能。
• 该模型在识别与气候变化相关的健康效应方面优于通用语言模型，尤其在复杂且依赖上下文的语句中表现更佳。
• 在专用领域语料库上进行微调，显著提升了模型对气候-健康文献中技术术语和因果关系的理解能力。
• 多种模型变体的可用性支持任务特定的适应，提高了下游应用中的效率与准确性。
• 模型、代码和数据的发布支持了可复现性，并为气候与健康领域自然语言处理的未来研究提供了基础。