[論文レビュー] Open data to evaluate academic researchers: an experiment with the Italian Scientific Habilitation

Angelo Di Iorio, Silvio Peroni+1 more|arXiv (Cornell University)|Feb 8, 2019

scientometrics and bibliometrics researchDecision Sciences被引用数 17

ひとこと要約

本論文は、イタリアの国立准教授資格認定プロセス（サイエントゥフィック・ハビリテーション）をシミュレートすることで、学術的評価における商業的引用データベースの代替としてオープンデータを実用可能かどうかを評価している。主にオープン引用データのみを用いた分析では、公式の結果を再現するには現在のオープン引用カバレッジが不十分であることが判明し、I4OCのような取り組みが増加しているものの、学術的オープンインfraストラクチャにおける深刻なギャップが浮き彫りになった。

ABSTRACT

The need for scholarly open data is ever increasing. While there are large repositories of open access articles and free publication indexes, there are still a few examples of free citation networks and their coverage is partial. One of the results is that most of the evaluation processes based on citation counts rely on commercial citation databases. Things are changing under the pressure of the Initiative for Open Citations (I4OC), whose goal is to campaign for scholarly publishers to make their citations as totally open. This paper investigates the growth of open citations with an experiment on the Italian Scientific Habilitation, the National process for University Professor qualification which instead uses data from commercial indexes. We simulated the procedure by only using open data and explored similarities and differences with the official results. The outcomes of the experiment show that the amount of open citation data currently available is not yet enough for obtaining similar results.

研究の動機と目的

• オープン引用データが国家的な学術的評価プロセスにおいて商業的引用データベースを信頼性高く代替できるかどうかを評価すること。
• 准教授資格認定のような高利害な学術的評価において、オープンデータを活用する可能性を調査すること。
• 商業インデックスに基づく公式評価と比較して、オープンデータシミュレーションの結果を検証すること。
• 現在のオープン引用カバレッジにおけるギャップと、それらが評価結果に与える影響を特定すること。
• 現実世界の評価文脈においてオープンデータを実証的にテストすることで、オープン学術インフラの広範な目標を支援すること。

提案手法

• 著者らは、クロスレファレンスやオーディン・サイトーションズなどのオープン引用データソースからのみ、イタリアのサイエントゥフィック・ハビリテーションプロセスをシミュレートした。
• オープンリポジトリーや引用ネットワークから候補者の出版および引用データを収集した。
• シミュレーションは、引用数の集計と正規化を含む公式の評価手順を再現した。
• オープンデータシミュレーションの結果を、国立サイエントゥフィック・ハビリテーションプロセスの公式結果と比較した。
• 引用数やhインデックスといった標準的な文献計測指標を、すべてオープンデータから独自に計算した。
• オープン引用データのカバレッジと完全性を分析し、評価結果に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 オープン引用データは、国家的な学術的評価において商業的引用データベースの結果と同等の結果を生み出すことができるか？
• RQ2 高利害な学術的評価に使用するにあたり、現在のオープン引用データの完全性とカバレッジはどの程度か？
• RQ3 引用データソースの違いが、学術的候補者のランク付けと資格認定にどのように影響するか？
• RQ4 包括的なオープン引用データが不足している状況では、オープン評価システムの導入がどの程度阻害されるか？
• RQ5 国家的な学術的資格認定プロセスにおいてオープンデータに依存することの実務的意味は何か？

主な発見

• オープン引用データのみを用いたシミュレーションでは、イタリアのサイエントゥフィック・ハビリテーションプロセスの公式結果を再現できなかった。
• 現在のオープン引用カバレッジは、大規模な学術的評価において信頼性あるまたは同等の結果を得るには不十分である。
• 特に古い出版物や特定の学術分野において、オープン引用データの可用性と完全性に顕著なギャップが存在する。
• I4OCのようなオープン引用イニシャチブの進展は確認できるが、商業的データベースを代替するにあたってはまだ十分な規模に達していない。
• 公式評価とオープンデータベース評価との間の乖離は、オープン引用インfraストラクチャの改善の必要性を強調している。
• 結果は、学術的評価が商業データに依存していること、および不完全なオープン代替手段に依存することのリスクを浮き彫りにしている。