[論文レビュー] Investigation of Partition Cells as a Structural Basis Suitable for Assessments of Individual Scientists

Nadine Rons|arXiv (Cornell University)|Sep 8, 2014

scientometrics and bibliometrics research参考文献 15被引用数 5

ひとこと要約

本稿は、研究者個人の研究パフォーマンスを評価するための構造的基盤として、細分化された分野カテゴリーの積み重ね（パーティションセル）を検討する。ERC助成金受給者のデータを用いて、パーティションセルが個々の論文専門分野をよりよく反映し、より正確で安定した引用基準値（例：1論文あたりの平均引用回数、ハイコールド論文の閾値）を提供することを示している。これは、広範な分野カテゴリーまたは時間的／引用窓長さの指標よりも優れている。

ABSTRACT

Individual, excellent scientists have become increasingly important in the research funding landscape. Accurate bibliometric measures of an individual's performance could help identify excellent scientists, but still present a challenge. One crucial aspect in this respect is an adequate delineation of the sets of publications that determine the reference values to which a scientist's publication record and its citation impact should be compared. The structure of partition cells formed by intersecting fixed subject categories in a database has been proposed to approximate a scientist's specialty more closely than can be done with the broader subject categories. This paper investigates this cell structure's suitability as an underlying basis for methodologies to assess individual scientists, from two perspectives: (1) Proximity to the actual structure of publication records of individual scientists: The distribution and concentration of publications over the highly fragmented structure of partition cells are examined for a sample of ERC grantees; (2) Proximity to customary levels of accuracy: Differences in commonly used reference values (mean expected number of citations per publication, and threshold number of citations for highly cited publications) between adjacent partition cells are compared to differences in two other dimensions: successive publication years and successive citation window lengths. Findings from both perspectives are in support of partition cells rather than the larger subject categories as a journal based structure on which to construct and apply methodologies for the assessment of highly specialized publication records such as those of individual scientists.

研究の動機と目的

• 研究助成の文脈において、研究者個人の正確な評価を図る課題に対処すること。
• 広範な分野カテゴリーを用いた研究パフォーマンスのベンチマーク手法における限界を特定すること。
• 固定された分野カテゴリーを交差させることで形成される細分化されたパーティションセルが、個々の科学者的専門分野をどれほど正確に近似できるかを評価すること。
• パーティションセルから導出される引用ベースの基準値（例：1論文あたりの平均引用回数、ハイコールド論文の閾値）の安定性と正確性を評価すること。
• 従来の基準次元（連続する出版年数および引用窓長さ）と比較して、パーティションセルの有効性を検証すること。

提案手法

• 文献データベースにおいて固定された分野カテゴリーを交差させることでパーティションセルを構築し、極めて細分化された分類構造を形成する。
• ERC助成金受給者のサンプルについて、これらのセルにおける論文分布を分析し、個々の研究者個人の研究プロファイルとの構造的整合性を評価する。
• 隣接するパーティションセル内での基準値（1論文あたりの平均引用回数およびハイコールド論文の閾値）を計算する。
• パーティションセル間でのこれらの基準値のばらつきを、連続する出版年数や引用窓長さにおけるばらつきと比較する。
• 統計的比較を用いて、パーティションセルが実際の論文パターンや文献計測評価における一般的な正確性水準にどれほど近いかを評価する。

実験結果

リサーチクエスチョン

• RQ1 パーティションセルは、研究者個人の研究専門分野における論文の実際の分布をどの程度正確に反映しているか。
• RQ2 隣接するパーティションセル間での引用基準値（1論文あたりの平均引用回数およびハイコールド論文の閾値）の差異は、連続する出版年数や引用窓長さにおける差異と比べてどの程度小さいか。
• RQ3 広範な分野カテゴリーと比較して、パーティションセル構造は研究者個人のパフォーマンスベンチマークに適しているか。
• RQ4 パーティションセルを用いることで、研究者個人の文献計測評価がより安定的かつ正確になるか。
• RQ5 パーティションセルは、極めて専門性の高い科学的成果を評価するための方法論的基盤として信頼できる構造的基盤となるか。

主な発見

• パーティションセルにおける論文の分布は、個々の研究者自身の実際の論文パターンと強く一致しており、構造的整合性が強いことが示された。
• 隣接するパーティションセル間での基準値（1論文あたりの平均引用回数およびハイコールド論文の閾値）の差は、連続する出版年数や引用窓長さにおける差よりも顕著に小さいことが分かった。
• パーティションセルはベンチマークにおいてより高い安定性と正確性を示しており、研究者個人のパフォーマンス評価における正確性が向上することが示唆された。
• 本研究は、パーティションセルが広範な分野カテゴリーを上回り、研究者本人の真の専門分野をより正確に近似できることを確認した。
• 従来の時間的またはカテゴリー的基準次元と比較して、パーティションセルは、研究者個人の文献計測評価に、より信頼性があり文脈に即した構造的基盤を提供する。
• これらの結果は、助成金および政策的文脈における個別化された研究評価の基盤としてパーティションセルの導入を支持するものである。