[论文解读] Applying BERT and ChatGPT for Sentiment Analysis of Lyme Disease in Scientific Literature

Teo Sušnjak|arXiv (Cornell University)|Feb 7, 2023

Topic Modeling参考文献 7被引用 7

一句话总结

本文提出了一种针对莱姆病文献情感分析的实用NLP流程，结合使用BERT与ChatGPT，展示了预训练语言模型与可解释AI（SHAP）如何检测慢性莱姆病科学论述中的偏见。结果表明，将BERT与基于大语言模型的验证相结合，可提升5,643篇科学摘要中情感分类的可解释性与一致性。

ABSTRACT

This chapter presents a practical guide for conducting Sentiment Analysis using Natural Language Processing (NLP) techniques in the domain of tick-borne disease text. The aim is to demonstrate the process of how the presence of bias in the discourse surrounding chronic manifestations of the disease can be evaluated. The goal is to use a dataset of 5643 abstracts collected from scientific journals on the topic of chronic Lyme disease to demonstrate using Python, the steps for conducting sentiment analysis using pre-trained language models and the process of validating the preliminary results using both interpretable machine learning tools, as well as a novel methodology of using emerging state-of-the-art large language models like ChatGPT. This serves as a useful resource for researchers and practitioners interested in using NLP techniques for sentiment analysis in the medical domain.

研究动机与目标

• 开发一种可复现的NLP工作流，用于医学文献的情感分析，重点关注慢性莱姆病等争议性话题。
• 利用计算方法评估与治疗后莱姆病综合征（PTLDS）相关的科学论述中是否存在偏见。
• 通过SHAP实现模型可解释性，通过ChatGPT实现类人文本解释，对情感预测结果进行验证。
• 证明结合预训练模型与大语言模型的混合方法可提升科学文本情感分析的可靠性。

提出的方法

• 使用2000–2021年间从期刊收集的5,643篇关于慢性莱姆病的科学摘要数据集。
• 应用预训练的BERT模型'nlptown/bert-base-multilingual-uncased-sentiment'进行情感分类，通过分词与加权平均处理长摘要。
• 采用SHAP（SHapley Additive exPlanations）生成特征级别的可解释性，可视化词语对情感预测的贡献。
• 通过ChatGPT调用GPT-3对模型输出进行验证，提示其对情感（1–5）进行分类并识别主观性较强的词汇。
• 使用Python结合Hugging Face Transformers与SHAP库完成模型推理与可解释性分析。
• 针对领域不匹配问题，指出通用型BERT模型可能因在非医学文本上进行训练而对医学术语分类出错（例如，'pathology'在医学中为中性，在商业语境中为负面）。

实验结果

研究问题

• RQ1 预训练语言模型如BERT能否在通常追求客观性的科学摘要中可靠地检测情感？
• RQ2 当使用大语言模型（如ChatGPT）进行交叉验证时，BERT的情感预测结果是否具有一致性？
• RQ3 SHAP值在多大程度上能够解释医学文本中单个词语对情感预测的贡献？
• RQ4 预训练模型（在评论数据上训练）与医学文本之间的领域不匹配如何影响情感分类的准确性？
• RQ5 结合大语言模型与可解释AI工具的混合方法，能否提升争议性医学话题中文本情感分析的可解释性与可信度？

主要发现

• 尽管医学文献通常语气中立，BERT模型仍成功为5,643篇科学摘要分配了情感分数。
• SHAP分析显示，特定医学术语与短语对情感预测有显著贡献，增强了模型的透明度。
• ChatGPT的情感分类（1–5分制）与主观性词汇识别与BERT预测高度一致，验证了模型输出的可靠性。
• 研究证实，领域不匹配仍是挑战，医学术语如'pathology'可能因非医学训练数据而被错误分类。
• 将ChatGPT等大语言模型用于验证，为科学文本情感分析结果提供了实用、可解释的交叉检查方法。
• 作者总结认为，结合BERT、大语言模型与SHAP的方法，为医学论述中的情感分析提供了一种稳健、可解释且可扩展的解决方案。