[论文解读] ClimateNLP: Analyzing Public Sentiment Towards Climate Change Using Natural Language Processing

Ajay Krishnan T. K., V. S. Anoop|arXiv (Cornell University)|Oct 12, 2023

Climate Change Communication and Perception被引用 5

一句话总结

本文提出了一种使用ClimateBERT（一种在气候变化相关推文上微调的领域专用BERT模型）进行气候情绪分析的框架，以对公众情绪进行分类。在平衡数据集上，结合随机森林模型，该方法实现了85.22%的准确率和85.73%的精确率，表明专用语言模型在气候话语分析中优于通用模型。

ABSTRACT

Climate change's impact on human health poses unprecedented and diverse challenges. Unless proactive measures based on solid evidence are implemented, these threats will likely escalate and continue to endanger human well-being. The escalating advancements in information and communication technologies have facilitated the widespread availability and utilization of social media platforms. Individuals utilize platforms such as Twitter and Facebook to express their opinions, thoughts, and critiques on diverse subjects, encompassing the pressing issue of climate change. The proliferation of climate change-related content on social media necessitates comprehensive analysis to glean meaningful insights. This paper employs natural language processing (NLP) techniques to analyze climate change discourse and quantify the sentiment of climate change-related tweets. We use ClimateBERT, a pretrained model fine-tuned specifically for the climate change domain. The objective is to discern the sentiment individuals express and uncover patterns in public opinion concerning climate change. Analyzing tweet sentiments allows a deeper comprehension of public perceptions, concerns, and emotions about this critical global challenge. The findings from this experiment unearth valuable insights into public sentiment and the entities associated with climate change discourse. Policymakers, researchers, and organizations can leverage such analyses to understand public perceptions, identify influential actors, and devise informed strategies to address climate change challenges.

研究动机与目标

• 通过社交媒体数据的自然语言处理分析公众对气候变化的情绪。
• 评估领域专用预训练语言模型（尤其是ClimateBERT）在气候话语情绪分类中的有效性。
• 比较不同NLP模型和特征工程技术（如TF-IDF、CountVectorizer、word2vec）与传统机器学习分类器的性能。
• 识别公众在气候变化讨论中的关键实体和情绪模式，以支持政策和传播策略。
• 通过提供可复现的气候相关文本情绪分析框架，推动自然语言处理在环境和公共卫生研究中的应用。

提出的方法

• 对在气候变化相关文档上预训练的领域适应型BERT模型ClimateBERT进行微调，用于在推特数据上进行情绪分类。
• 对气候变化相关推文数据集进行预处理和平衡，去除噪声并标准化文本以供模型输入。
• 将传统NLP特征（TF-IDF、CountVectorizer、word2vec）与机器学习分类器（随机森林、SVM、决策树、逻辑回归）结合使用。
• 使用标准NLP指标（准确率、精确率、召回率和F1-score）在保留的测试集上训练并评估多个模型。
• 采用两阶段流程：通过Twitter API进行数据收集，随后使用5折交叉验证进行模型训练与评估。
• 基于F1-score和平衡准确率选择表现最佳的模型配置，以确保在各类情绪类别上的稳健性。

Figure 1: Overall workflow of the sentiment analysis on climate Change tweets

实验结果

研究问题

• RQ1 与通用模型相比，ClimateBERT在社交媒体文本中对气候变化公众情绪分类的效率如何？
• RQ2 哪种特征提取技术组合（如TF-IDF、CountVectorizer、word2vec）与机器学习分类器的组合在气候话语情绪分类中表现最佳？
• RQ3 Twitter上关于气候变化讨论的主导情绪模式和关键实体是什么？
• RQ4 传统NLP方法与微调的基于Transformer的模型（如ClimateBERT）在气候相关内容情绪分析中的表现如何比较？
• RQ5 对公众关于气候变化的讨论进行情绪分析能否为政策制定者和公共卫生官员提供可操作的见解？

主要发现

• 使用随机森林分类器微调的ClimateBERT在所有测试模型中取得了最高的准确率（85.22%）和精确率（85.73%）。
• TF-IDF与CountVectorizer的组合在随机森林上实现了86.87%的F1-score，优于其他特征组合。
• 通用BERT模型表现较差，SVM的F1-score仅为63.70%，表明在缺乏领域适应的情况下，其在气候特定情绪任务中的迁移能力有限。
• 在传统模型中，随机森林在所有指标上均持续优于SVM、决策树和逻辑回归，尤其是在ClimateBERT嵌入表示上表现更优。
• 基于ClimateBERT嵌入训练的模型对正面情绪的召回率达到85.22%，表明其在识别公众对气候变化支持性观点方面具有强大能力。
• 本研究证实，领域专用预训练能显著提升气候相关文本的情绪分类性能，验证了ClimateBERT在环境NLP任务中的实用性。

(a) Performance evaluation of SVM, LR, RF, and DT algorithms with TF-IDF