[论文解读] Artificial intelligence technologies to support research assessment: A review

Kayvan Kousha, Mike Thelwall|arXiv (Cornell University)|Dec 11, 2022

scientometrics and bibliometrics research被引用 5

一句话总结

本文综述了利用文本特征（如标题、摘要、可读性）和元数据（如作者h指数、期刊影响因子、合作度量）预测研究质量和影响力的机器学习与人工智能技术。研究发现，英国研究评估评价（REF）中的文献计量指标与质量排名之间存在显著关联，并评估了Dimensions和OpenCitations等公开数据集在支持人工智能驱动的研究评估中的作用，同时探讨了自动化评估系统中的偏见与透明度问题。

ABSTRACT

This literature review identifies indicators that associate with higher impact or higher quality research from article text (e.g., titles, abstracts, lengths, cited references and readability) or metadata (e.g., the number of authors, international or domestic collaborations, journal impact factors and authors' h-index). This includes studies that used machine learning techniques to predict citation counts or quality scores for journal articles or conference papers. The literature review also includes evidence about the strength of association between bibliometric indicators and quality score rankings from previous UK Research Assessment Exercises (RAEs) and REFs in different subjects and years and similar evidence from other countries (e.g., Australia and Italy). In support of this, the document also surveys studies that used public datasets of citations, social media indictors or open review texts (e.g., Dimensions, OpenCitations, Altmetric.com and Publons) to help predict the scholarly impact of articles. The results of this part of the literature review were used to inform the experiments using machine learning to predict REF journal article quality scores, as reported in the AI experiments report for this project. The literature review also covers technology to automate editorial processes, to provide quality control for papers and reviewers' suggestions, to match reviewers with articles, and to automatically categorise journal articles into fields. Bias and transparency in technology assisted assessment are also discussed.

研究动机与目标

• 识别与更高研究影响力或质量相关的文本与元数据指标。
• 考察基于文章文本和元数据预测期刊论文与会议论文引用次数或质量评分的机器学习模型。
• 分析文献计量指标与英国REF、RAEs及国际评估（如澳大利亚、意大利）中专家质量排名之间的关联强度。
• 评估公开数据集（如Dimensions、OpenCitations、Publons）在训练和验证人工智能模型于研究评估中的适用性。
• 探讨人工智能在自动化编辑流程、审稿人匹配、文章分类和质量控制中的应用，同时关注偏见与透明度问题。

提出的方法

• 系统性文献综述：分析使用机器学习基于文章文本和元数据预测引用次数或质量评分的研究。
• 分析期刊影响因子、作者h指数、作者人数及合作类型（国内/国际）等文献计量指标。
• 评估Dimensions、OpenCitations和Publons等公开数据源在人工智能研究评估模型训练中的适用性。
• 综合分析文章标题和摘要中可读性、长度及被引参考文献的预测能力证据。
• 评估人工智能在自动化审稿人分配、文章分类和学术出版质量控制中的应用。
• 对人工智能辅助研究评估系统中的透明度与偏见问题进行批判性讨论。

实验结果

研究问题

• RQ1 哪些文本与元数据特征与更高的研究影响力或质量关联最强？
• RQ2 利用文章层面特征，机器学习模型在预测引用次数或质量评分方面的表现如何？
• RQ3 文献计量指标与英国REF和RAEs中专家质量排名之间的关联强度如何？
• RQ4 Dimensions和OpenCitations等公开数据集在支持人工智能驱动的研究评估方面有多高效？
• RQ5 人工智能辅助研究评估中的偏见与透明度相关风险与挑战有哪些？

主要发现

• 机器学习模型在利用可读性、长度和作者h指数等文本与元数据特征时，对引用次数和质量评分具有显著的预测能力。
• 在多个学科和年份中，英国REF和RAEs的文献计量指标与专家质量排名之间存在强烈关联。
• Dimensions和OpenCitations等公开数据集为训练和验证人工智能研究评估模型提供了宝贵数据。
• 国际合作者数量、期刊影响因子和作者人数等指标与更高研究影响力一致相关。
• 人工智能在审稿人匹配、文章分类和质量控制中的应用已证明具有可行性，并在学术出版中具备可扩展潜力。
• 人工智能辅助评估中的偏见与透明度不足仍是关键挑战，需通过精心设计与严格监督加以应对。