[论文解读] What Constitutes Peer Review of Data: A survey of published peer review guidelines

Todd Carpenter|arXiv (Cornell University)|Apr 7, 2017

Meta-analysis and systematic reviews参考文献 2被引用 5

一句话总结

本研究分析了39份以数据为核心的期刊的同行评审指南，识别数据同行评审的常见标准，揭示了标准之间存在显著差异，并指出了当前实践与2012年提出的框架之间的差距。研究发现，数据完整性、可重现性和文档化最常被强调，而元数据质量和长期可访问性则受到较少一致的关注。

ABSTRACT

Since a number of journals specifically focus on the review and publication of data sets, reviewing their policies seems an appropriate place to start in assessing what existing practice looks like in the 'real world' of reviewing and publishing data. This article outlines a study of the publicly available peer review policies of 39 scientific publications that publish data papers to discern which criteria are most and least frequently referenced. It also compares current practice with proposed criteria published in 2012.

研究动机与目标

• 通过分析已发布的指南，了解科学出版中数据同行评审实践的现状。
• 识别数据期刊同行评审政策中最常和最少被包含的标准。
• 将现有同行评审实践与2012年提出的数据同行评审标准框架进行比较。
• 评估在同行评审过程中对数据评估的标准程度和一致性水平。
• 为学术传播中稳健、标准化的数据同行评审实践的未来发展提供依据。

提出的方法

• 系统性收集39份专注于数据出版的科学期刊中公开可获取的同行评审政策。
• 将评审标准按主题类别进行分类，如数据质量、文档化、可重现性及元数据标准。
• 比较各标准在不同期刊中的出现频率，以识别共性和缺失。
• 将观察到的标准与2012年提出的数据同行评审框架进行基准对比，评估其一致性。
• 使用表格分析汇总并可视化各标准在所调查期刊中的普遍程度。
• 对政策语言进行定性综合，以解读不同期刊中标准的表述方式和优先级。

实验结果

研究问题

• RQ1 哪些标准在数据期刊的同行评审指南中最为常见？
• RQ2 当前的数据同行评审实践与2012年提出的数据同行评审标准框架相比如何？
• RQ3 数据同行评审政策中最常见的遗漏或代表性不足的标准是什么？
• RQ4 在不同期刊中，数据同行评审过程中的评估标准在多大程度上实现了标准化？
• RQ5 各期刊在评审过程中如何优先考虑数据完整性、文档化和长期可访问性等方面？

主要发现

• 数据完整性和可重现性是同行评审指南中最常被提及的标准，在所调查的80%以上期刊中均有提及。
• 文档化质量在72%的期刊中被强调，但具体要求的明确程度差异显著。
• 元数据标准仅在46%的期刊中被提及，表明对结构化数据描述的关注不一致。
• 长期可访问性和保存仅在31%的期刊中被涉及，表明对可持续性的关注有限。
• 仅有18%的期刊在其评审政策中明确提及版本控制或来源追踪。
• 研究发现当前实践与2012年提出的框架之间存在显著差距，其中60%的2012年标准在当前政策中未得到一致体现。