[論文レビュー] What Constitutes Peer Review of Data: A survey of published peer review guidelines

Todd Carpenter|arXiv (Cornell University)|Apr 7, 2017

Meta-analysis and systematic reviews参考文献 2被引用数 5

ひとこと要約

本研究は、39のデータ中心の学術雑誌の査読ガイドラインを分析し、データ査読の共通基準を特定した。その結果、基準に顕著なばらつきが見られ、2012年に提唱されたフレームワークと比較して、現行の実践と間に大きなギャップがあることが明らかになった。主にデータの整合性、再現可能性、文書化が頻繁に強調されている一方、メタデータの質や長期的可視性については一貫した関心が示されていない。

ABSTRACT

Since a number of journals specifically focus on the review and publication of data sets, reviewing their policies seems an appropriate place to start in assessing what existing practice looks like in the 'real world' of reviewing and publishing data. This article outlines a study of the publicly available peer review policies of 39 scientific publications that publish data papers to discern which criteria are most and least frequently referenced. It also compares current practice with proposed criteria published in 2012.

研究の動機と目的

• 公開されたガイドラインを分析することで、科学的出版におけるデータ査読の現状を理解すること。
• データ専門雑誌の査読方針に最も頻出および最も頻出しない基準を特定すること。
• 2012年に提唱されたデータ査読の基準と、現在の査読実践を比較すること。
• データが査読プロセスで評価される方法の標準化と一貫性の程度を評価すること。
• 学術コミュニケーションにおける強固で標準化されたデータ査読実践の今後の開発を支援すること。

提案手法

• データ公開に特化した39の学術雑誌から、公開可能な査読方針を体系的に収集した。
• データ品質、文書化、再現可能性、メタデータ基準などのテーマ別に査読基準を分類した。
• 各基準が雑誌間でどれほど頻出しているかを比較し、共通点と欠落を特定した。
• 観察された基準を2012年に提唱されたデータ査読フレームワークと照合し、整合性を評価した。
• 各基準の頻度を要約・可視化するため、表形式の分析を用いた。
• 方針の言語を定性的に統合し、各雑誌で基準がどのように提示され、優先順位付けられているかを解釈した。

実験結果

リサーチクエスチョン

• RQ1 データ専門雑誌の査読ガイドラインに最も頻繁に含まれる基準は何か？
• RQ2 現在のデータ査読実践は、2012年に提唱されたデータ査読基準とどのように比較できるか？
• RQ3 データ査読方針において最も一般的な欠落または軽視されている基準は何か？
• RQ4 雑誌間で、データが査読プロセスで評価される方法にどの程度標準化がなされているか？
• RQ5 各雑誌は、データの整合性、文書化、長期的可視性といった側面を、査読プロセスでどの程度優先しているか？

主な発見

• データの整合性と再現可能性は、調査された雑誌の80％以上で最も頻繁に挙げられた基準であった。
• 文書化の質は72％の雑誌で強調されたが、要件の明確さには大きなばらつきがあった。
• メタデータ基準はわずか46％の雑誌で言及されており、構造的なデータ記述への関心が一貫していないことが示された。
• 長期的可視性および保存性はたった31％の雑誌で取り上げられており、持続可能性への関心が限定的であることが示された。
• バージョン管理やプロビジョニックストラッキングを明確に含んでいるのは、わずか18％の雑誌であった。
• 本研究では、現行の実践と2012年のフレームワークとの間に顕著なギャップがあることが判明した。2012年の基準のうち60％が、現在の方針では一貫して反映されていなかった。