[论文解读] Evaluating approaches to identifying research supporting the United Nations Sustainable Development Goals

Yury Kashnitsky, Guillaume Roberge+13 more|arXiv (Cornell University)|Sep 15, 2022

Evaluation and Performance Assessment被引用 8

一句话总结

本文提出了一种增强的研究出版物映射至联合国可持续发展目标（SDGs）的方法，结合关键词查询与机器学习技术，在保持精确度高于80%的同时提升了召回率。该方法由爱思唯尔开发，并被泰晤士高等教育用于其社会影响力排名。与以往方法相比，该方法在捕捉相关文献方面达到2020年版本的两倍，同时通过迭代优化和专家验证确保了准确性。

ABSTRACT

The United Nations (UN) Sustainable Development Goals (SDGs) challenge the global community to build a world where no one is left behind. Recognizing that research plays a fundamental part in supporting these goals, attempts have been made to classify research publications according to their relevance in supporting each of the UN's SDGs. In this paper, we outline the methodology that we followed when mapping research articles to SDGs and which is adopted by Times Higher Education in their Social Impact rankings. We compare our solution with other existing queries and models mapping research papers to SDGs. We also discuss various aspects in which the methodology can be improved and generalized to other types of content apart from research articles. The results presented in this paper are the outcome of the SDG Research Mapping Initiative that was established as a partnership between the University of Southern Denmark, the Aurora European Universities Alliance (represented by Vrije Universiteit Amsterdam), the University of Auckland, and Elsevier to bring together broad expertise and share best practices on identifying research contributions to UN's Sustainable Development Goals.

研究动机与目标

• 开发一种更全面且准确的方法，用于识别支持联合国可持续发展目标（SDGs）的研究出版物。
• 解决现有布尔逻辑与关键词方法的局限性，如多义性问题和召回率低。
• 将机器学习与精心筛选的关键词查询相结合，以提升相关SDG研究的检索效果。
• 提高SDG映射在不同研究领域和内容类型中的可推广性与可复现性。
• 通过提供透明且可扩展的方法，支持机构基准评估与政策评价，该方法已被泰晤士高等教育的社会影响力排名采纳。

提出的方法

• 设计分层查询结构，通过子查询针对特定SDG目标与指标，以提高查询的针对性。
• 应用结合学科分类（全部科学期刊分类 - ASJC）的关键词布尔搜索表达式，以减少歧义。
• 使用在已标注SDG的出版物上训练的机器学习模型，以提升召回率而不降低精确度。
• 通过领域专家的迭代反馈以及与现有SDG映射计划的一致性验证结果。
• 将关键词查询与机器学习分类结果相结合，生成最终的、整合的SDG相关出版物集合。
• 通过公开发布查询集合与模型参数，确保方法的透明性与可复现性。

实验结果

研究问题

• RQ1 如何优化基于关键词的查询，以在识别SDG相关研究时提升召回率与精确度？
• RQ2 与纯关键词方法相比，集成机器学习在识别支持SDGs的研究方面能提升多少？
• RQ3 结合精心筛选的查询与机器学习模型的混合方法，是否能实现比现有方法更高的准确度与更广的覆盖范围？
• RQ4 在召回率、精确度与可扩展性方面，该方法与其它SDG映射方法相比表现如何？
• RQ5 为使该方法推广至非研究内容（如政策文件或报告），还需进行哪些改进？

主要发现

• 爱思唯尔2021年SDG映射方法平均捕捉的相关研究文献数量是2020年版本的两倍，同时保持精确度高于80%。
• 机器学习的集成显著提升了召回率，尤其对那些未包含明显SDG关键词但具有语境相关性的出版物效果显著。
• 使用学科分类（ASJC）与针对SDG目标及指标的定向子查询，有效减少了多义性问题，提升了检索准确性。
• 该方法已被泰晤士高等教育用于其社会影响力排名，证明了其在现实场景中的适用性与机构认可。
• 与纯布尔查询和独立机器学习模型相比，该方法在精确度与召回率之间实现了更优平衡，表现优于以往方法。
• 公开发布的查询集合与模型参数支持方法的可复现性，并推动了机构与研究社区的广泛采用。