[论文解读] Using Natural Language Processing and Networks to Automate Structured Literature Reviews: An Application to Farmers Climate Change Adaptation

Sofía Gil‐Clavel, Tatiana Filatova|arXiv (Cornell University)|Jun 16, 2023

Computational and Text Analysis Methods被引用 5

一句话总结

本文提出了一种描述性、可解释的方法，结合自然语言处理（NLP）与网络可视化，以自动化气候适应研究中的结构化文献综述。通过使用基于动词的情感分析和网络映射，从7,000多篇文献中提取并可视化变量间的关系，该方法揭示了‘信息’是与农民适应最常呈正向关联的因素，而年龄、教育和性别也呈正向关联——提供了一种透明、理论基础扎实的替代方案，以应对黑箱摘要模型的局限。

ABSTRACT

The fast-growing number of research articles makes it problematic for scholars to keep track of the new findings related to their areas of expertise. Furthermore, linking knowledge across disciplines in rapidly developing fields becomes challenging for complex topics like climate change that demand interdisciplinary solutions. At the same time, the rise of Black Box types of text summarization makes it difficult to understand how text relationships are built, let alone relate to existing theories conceptualizing cause-effect relationships and permitting hypothesizing. This work aims to sensibly use Natural Language Processing by extracting variables relations and synthesizing their findings using networks while relating to key concepts dominant in relevant disciplines. As an example, we apply our methodology to the analysis of farmers' adaptation to climate change. For this, we perform a Natural Language Processing analysis of publications returned by Scopus in August 2022. Results show that the use of Natural Language Processing together with networks in a descriptive manner offers a fast and interpretable way to synthesize literature review findings as long as researchers back up results with theory.

研究动机与目标

• 为应对气候适应及其相关跨学科领域研究文献量迅速增长的挑战。
• 克服黑箱机器学习模型在文本摘要中的局限性，这些模型隐藏了推理过程，阻碍了理论解释。
• 开发一种可解释、理论基础扎实的NLP方法，使研究人员能够可视化和综合大规模文献数据库中变量之间的关系。
• 通过一项关于农民气候适应的案例研究，展示该方法的实用性，数据来源为2022年8月的Scopus索引文献。
• 提供一种可复现、透明的替代方案，以应对缺乏可解释性与可追溯性的抽取式和生成式摘要系统。

提出的方法

• 该方法使用定制的动词词典，根据上下文将关键术语（如‘农民’、‘气候变化’、‘适应’）之间的关系分类为正面、负面或中性。
• 自然语言处理技术从文章摘要和全文中提取主语-谓语-宾语三元组，重点关注因果或关联关系。
• 构建网络，其中节点代表变量，边代表由动词分类得出的关联强度与方向。
• 边的权重由连接变量对的动词频率与情感倾向决定，从而实现主要关系的可视化映射。
• 最终的网络可视化通过节点的中心性与颜色编码来表示频率与关联方向，增强可解释性。
• 通过与气候适应领域既有的理论进行对比，验证了该方法的有效性，确保其与现有实证与理论文献保持一致。

Figure 1 : Articles’ distribution by year and Scopus area (total N=275). The acronyms stand for: Arts and Humanities (ARTS); Environmental Science (ENVI); Social Sciences (SOCI); Multidisciplinary (MULT).

实验结果

研究问题

• RQ1 如何结合NLP与网络可视化，构建一种可解释、描述性的方法，以综合大规模文献数据库中的研究发现？
• RQ2 与农民气候适应最常关联的变量有哪些？这些关联的方向是什么？
• RQ3 所提取的关系在多大程度上与气候适应领域的既定理论一致，特别是关于社会人口学与信息相关因素的理论？
• RQ4 与黑箱NLP模型相比，使用人工精心整理的动词词典在文献综合中如何提升可解释性？
• RQ5 网络可视化能否有效揭示大规模气候适应文献中变量共现与关联强度的模式？

主要发现

• ‘信息’一词成为与农民适应最常呈正向关联的因素，表明其在提升意识、适应能力与决策能力方面具有核心作用。
• 其他频繁呈正向关联的变量包括年龄、性别、教育与知识，表明社会人口学与认知因素显著影响适应能力。
• 政府与社会资本与适应呈中性关联，支持了关于其在政策与社会影响力中作用复杂且情境依赖的理论预期。
• 网络可视化显示，‘市场’与‘可及性推广代理’等变量的中心性较低，表明其在文献关于适应的论述中出现频率较低或不那么突出。
• 该方法成功可视化了关联的频率与方向，中心节点反映出高连通性，因而文献中更具显著性。
• 该方法实现了结果对原始文献与动词层级分类的完整可追溯性，确保了透明性，并减少了黑箱模型常见的不透明性。

Figure 2 : Flow chart diagram presenting our algorithm based on Bui et al. (2016). Boxes with bolded words signal the steps we added.