[論文レビュー] Measuring Scientific Group Performance: Integrating h-Group and Homogeneity into the $α$-Index

Roberto da Silva, José Palazzo Moreira de Oliveira+1 more|arXiv (Cornell University)|Feb 4, 2010

Census and Population Estimation参考文献 8被引用数 4

ひとこと要約

本論文は、研究者グループのパフォーマンスを評価するための新しい指標であるαインデックスを導入する。この指標は、グループ内研究者のhインデックスの均質性と、hインデックスをグループレベルに拡張したhグループインデックスという2つの主要要因を統合する。この方法により、集団的影響と内部の一貫性の両方をバランスさせる、統合的で情報理論的根拠に基づく測定が可能となり、コンピュータサイエンス分野の国際会議の評価において、人的分類と強い整合性を示す。

ABSTRACT

Ranking groups of researchers is important in several contexts and can serve many purposes such as the fair distribution of grants based on the scientist's publication output, concession of research projects, classification of journal editorial boards and many other applications in a social context. In this paper, we propose a method for measuring the performance of groups of researchers. The proposed method is called alpha-index and it is based on two parameters: (i) the homogeneity of the h-indexes of the researchers in the group; and (ii) the h-group, which is an extension of the h-index for groups. Our method integrates the concepts of homogeneity and absolute value of the h-index into a single measure which is appropriate for the evaluation of groups. We report on experiments that assess computer science conferences based on the h-indexes of their program committee members. Our results are similar to a manual classification scheme adopted by a research agency.

研究の動機と目的

• 個々の指標にとどまらない、包括的かつ公平な科学的グループ評価のニーズに対応すること。
• 集団的影響と研究者間の内部一貫性の両方を考慮しない既存のグループ指標の限界を克服すること。
• 絶対的パフォーマンスとグループ内の均質性を両方反映する、単一で統合された指標を開発すること。
• 研究機関および助成機関が助成金配分、プロジェクト選定、編集委員会任命において、実用的なツールを提供すること。

提案手法

• αインデックスは、hグループインデックスとグループ内研究者の個別hインデックスの均質性を統合する情報理論的フレームワークに基づいて導出される。
• 均質性は、個別hインデックスの分散または標準偏差で測定され、分散が小さいほど内部の一貫性が高いとされる。
• hグループインデックスは、グループに属する少なくともh人の研究者が、それぞれh本以上の論文をh回以上インデックス化された論文として出版しているような最大のh値として計算される。
• αインデックスは、hグループの絶対値と均質性の両方をバランスさせる関数として定式化され、高い集団的出力と一貫性のある個人的パフォーマンスを示すグループを優遇する。
• この手法は、コンピュータサイエンス分野の国際会議のプログラム委員会メンバーに適用され、グループパフォーマンスの評価が行われた。
• 得られたαインデックス値は、研究機関が用いた人的分類基準と比較され、熟練者による判断と整合していることが検証された。

実験結果

リサーチクエスチョン

• RQ1 集団的影響と研究者個人の内部一貫性の両方を考慮した、科学的グループのパフォーマンスの測定法は何か？
• RQ2 hインデックスの均質性を統合することで、hグループインデックス単体を使用する場合に比べ、グループ評価の公平性と正確性はどの程度向上するか？
• RQ3 提案されたαインデックスは、国際会議のプログラム委員会のような現実世界の文脈において、研究グループの順位付けを信頼性高く行えるか？
• RQ4 熟練者による分類と比較して、αインデックスの整合性と妥当性はどの程度高いか？
• RQ5 統合的パフォーマンス指標において、グループの影響（hグループ）とパフォーマンスの均質性の最適なバランスは何か？

主な発見

• αインデックスは、hグループインデックスと個別hインデックスの均質性を、単一で整合的な指標として効果的に統合した。
• 高いhグループ値と低い個別hインデックスの分散を示すグループは、高いαインデックススコアを獲得し、バランスの取れた強力な集団的パフォーマンスを反映した。
• コンピュータサイエンス分野の国際会議におけるαインデックスの結果は、研究機関が用いた人的分類基準と強く一致しており、実用的妥当性が裏付けられた。
• この手法は、個別hインデックスが類似している場合でも、優れたグループと低いパフォーマンスのグループを明確に区別する強靭性を示した。
• 均質性の組み込みにより、パフォーマンスが著しく不均一な高インパクトグループが過大評価されにくくなり、指標の識別力が著しく向上した。
• 従来の指標が集団的出力にのみ注目するのに対し、αインデックスはより洗練され、公平な研究グループ評価を提供する。