[論文レビュー] Do open citations inform the qualitative peer-review evaluation in research assessments? An analysis of the Italian National Scientific Qualification.

Federica Bologna, Angelo Di Iorio+2 more|arXiv (Cornell University)|Mar 14, 2021

scientometrics and bibliometrics research参考文献 46被引用数 5

ひとこと要約

本研究は、学術任命におけるイタリアの国立科学研究資格（NSQ）の定性的な同行評価が、オープンな引用データによってどのように支援されるかを調査する。特に、引用に基づかない分野（NDs）において、候補者と評価委員会との間の引用的関係の強さが、同行評価の結果に与える影響を検討する。機械学習モデルをNSQ意思決定のデータで学習させた結果、NDsにおける同行評価の結果に、候補者と委員会との間の引用的関係の強さが顕著に影響することが判明した。

ABSTRACT

In the past, several works have investigated ways for combining quantitative and qualitative methods in research assessment exercises. Indeed, the Italian National Scientific Qualification (NSQ), i.e. the national assessment exercise which aims at deciding whether a scholar can apply to professorial academic positions as Associate Professor and Full Professor, adopts a quantitative and qualitative evaluation process: it makes use of bibliometrics followed by a peer-review process of candidates' CVs. The NSQ divides academic disciplines into two categories, i.e. citation-based disciplines (CDs) and non-citation-based disciplines (NDs), a division that affects the metrics used for assessing the candidates of that discipline in the first part of the process, which is based on bibliometrics. In this work, we aim at exploring whether citation-based metrics, calculated only considering open bibliographic and citation data, can support the human peer-review of NDs and yield insights on how it is conducted. To understand if and what citation-based (and, possibly, other) metrics provide relevant information, we created a series of machine learning models to replicate the decisions of the NSQ committees. As one of the main outcomes of our study, we noticed that the strength of the citational relationship between the candidate and the commission in charge of assessing his/her CV seems to play a role in the peer-review phase of the NSQ of NDs.

研究の動機と目的

• オープンな文献情報および引用データが、研究評価における定性的同行評価を支援できるかどうかを評価すること。
• イタリアの国立科学研究資格（NSQ）における引用に基づかない分野（NDs）における引用指標の役割を調査すること。
• NSQ意思決定のデータで学習させた機械学習モデルが、人間の委員会評価を正確に再現できるかどうかを特定すること。
• 候補者とレビュー委員会との間の引用的つながりの強さが、NDsにおける同行評価結果にどのように影響するかを分析すること。
• オープンな文献情報および引用データが、研究評価における定性的な評価プロセスに意味のあるインサイトを提供するかどうかを評価すること。

提案手法

• 本研究は、文献情報の分析とその後の同行評価を含む二段階プロセスであるイタリア国立科学研究資格（NSQ）を分析する。
• 分野を引用に基づく分野（CDs）と引用に基づかない分野（NDs）に分類し、評価のダイナミクスを比較する。
• オープンな文献情報および引用データを抽出し、候補者のための引用指標を算出する。
• 候補者の履歴書と引用データに基づいて、NSQ委員会の意思決定を予測するための機械学習モデルを訓練する。
• さまざまな指標、特に候補者とレビュアーとの間の引用的リンクの強さの予測力が評価される。
• 統計的分析により、特にNDsにおいて、引用的関係が同行評価結果に与える影響の有意性が評価される。

実験結果

リサーチクエスチョン

• RQ1 オープンな引用データは、研究評価における定性的同行評価の透明性と一貫性を向上させることができるか？
• RQ2 オープンデータから得た引用指標は、引用に基づかない分野（NDs）における結果をどの程度予測できるか？
• RQ3 候補者とレビュー委員会との間の引用的関係の強さは、NDsにおける同行評価意思決定にどのように影響するか？
• RQ4 NSQデータで学習させた機械学習モデルは、人間の委員会意思決定を正確に再現できるか？
• RQ5 オープンな文献情報および引用データは、定性的な評価プロセスにどのような役割を果たすか？

主な発見

• 候補者とレビュー委員会との間の引用的関係の強さは、引用に基づかない分野（NDs）における同行評価結果に顕著に影響を与える。
• オープンな引用データは、特に従来の文献情報指標が使われないNDsにおいて、定性的な評価プロセスに意味のある情報を提供する。
• NSQデータで学習させた機械学習モデルは、委員会の意思決定を成功裏に再現しており、評価のパターンが構造化されたデータから学習可能であることを示している。
• オープンデータから得た引用指標は、従来から文献情報指標に依存しない分野においても予測的価値を示している。
• 研究評価における公平性と透明性を高めるために、オープンな引用データを同行評価に統合することが有効である可能性が示唆される。
• 本研究は、機関的および個人的な引用的つながりが、形式的には文献情報指標を排除している分野であっても、定性的な評価において測定可能な役割を果たしていることを明らかにした。