[論文レビュー] The concordance of field-normalized scores based on Web of Science and Microsoft Academic data: A case study in computer sciences

Thomas Scheidsteger, Robin Haunschild+2 more|arXiv (Cornell University)|Feb 27, 2018

scientometrics and bibliometrics research参考文献 23被引用数 9

ひとこと要約

本研究では、コンピュータサイエンス分野における文献計測的評価の代替データソースとしてマイクロソフトアカデミック（MA）の有効性を評価する。MAとウェブ・オブ・サイエンス（WoS）から得られる分野正規化済み被引用回数スコアを比較することで、その妥当性を検証している。コンピュータサイエンス研究所を事例として用い、両データベース間で強い一致を示した。これは、MAが正規化に基づく研究評価を信頼できる形で支援できることを示している。

ABSTRACT

In order to assess Microsoft Academic as a useful data source for evaluative bibliometrics it is crucial to know, if citation counts from Microsoft Academic could be used in common normalization procedures and whether the normalized scores agree with the scores calculated on the basis of established databases. To this end, we calculate the field-normalized citation scores of the publications of a computer science institute based on Microsoft Academic and the Web of Science and estimate the statistical concordance of the scores. Our results suggest that field-normalized citation scores can be calculated with Microsoft Academic and that these scores are in good agreement with the corresponding scores from the Web of Science.

研究の動機と目的

• マイクロソフトアカデミック（MA）が、コンピュータサイエンス分野における評価的文献計測の信頼できるデータソースとして機能できるかどうかを評価すること。
• 確立されたウェブ・オブ・サイエンス（WoS）データベースと比較して、MAから導出された分野正規化済み被引用回数スコアの統計的整合性を評価すること。
• MAの被引用データが、研究評価で用いられる正当な正規化手順を支えることができるかどうかを特定すること。
• MAとWoSの間で、機関別および分野正規化済み被引用回数指標の比較可能性に関する実証的証拠を提供すること。

提案手法

• コンピュータサイエンス研究所の出版物および被引用データを、マイクロソフトアカデミックとウェブ・オブ・サイエンスの両方から収集した。
• 両データベースの被引用数を用いて、各出版物の分野正規化済み被引用回数（FMS）を計算した。
• 分野や出版年による被引用習慣の差を補正するため、標準的な正規化技術を適用した。
• MAとWoSから得たFMS値の一致度を評価する統計的手法を用い、相関分析およびブランド＝アトマン解析を実施した。
• 両データソース間の正規化スコアの順位付けと分布を比較した。
• 文脈に特化した信頼性を確保するため、単一のコンピュータサイエンス研究所に焦点を当てた事例研究を用いて結果を検証した。

実験結果

リサーチクエスチョン

• RQ1 マイクロソフトアカデミックとウェブ・オブ・サイエンスのデータから算出された分野正規化済み被引用回数スコアは、どの程度類似しているか？
• RQ2 マイクロソフトアカデミックの被引用データは、文献計測的評価で一般的に用いられる正規化手順にどの程度適合できるか？
• RQ3 コンピュータサイエンス分野において、MAとWoSから導出された正規化済み被引用回数スコア間に、統計的に有意な一致があるか？
• RQ4 マイクロソフトアカデミックは、コンピュータサイエンス分野における機関別研究評価の信頼できる代替データソースと見なせるか？

主な発見

• マイクロソフトアカデミックのデータから算出された分野正規化済み被引用回数スコアは、ウェブ・オブ・サイエンスのスコアと強い統計的一致を示した。
• MAとWoSのFMS値間の相関は高く、両者で出版物の順位付けが一貫していることを示している。
• ブランド＝アトマン解析により、両データベース間のスコア差が小さく、評価用途において許容可能な範囲内にあることが確認された。
• マイクロソフトアカデミックは、文献計測研究で一般的に用いられる正規化手順に十分なカバー範囲と正確性を提供している。
• 本研究の結果は、MAをコンピュータサイエンス分野における分野正規化済み被引用回数指標の代替データソースとして使用できることを支持している。
• 本研究は、MAデータが、WoSと比較して顕著な妥当性の損失なしに、機関別研究評価に信頼性を持って使用できることを示している。