[論文レビュー] Exploring the Effects of Data Set Choice on Measuring International Research Collaboration: an Example Using the ACM Digital Library and Microsoft Academic Graph

Ba Xuan Nguyen, Markus Luczak–Roesch+1 more|arXiv (Cornell University)|May 30, 2019

scientometrics and bibliometrics research参考文献 5被引用数 4

ひとこと要約

本研究は、特にACMデジタルライブラリとMicrosoft Academic Graphという2つの学術データセットが国際的共同研究（IRC）の測定に与える影響を調査する。両者のデータセットを比較することで、共同研究の割合や国別の順位に顕著な差異が生じることが明らかになり、データセット選定が科学計測学的評価の結果に顕著に影響することを示している。

ABSTRACT

International research collaboration (IRC) measurement is important because countries can and want to benefit from international collaboration but performing the same measurement procedure on different data sets can lead to different results. This study aims to explore the effects of data set choice on IRC measurement.

研究の動機と目的

• 学術データセットの選定が国際的共同研究（IRC）の測定に与える影響を検討すること。
• ACMデジタルライブラリとMicrosoft Academic Graphから得られるIRC指標を、複数の次元で比較すること。
• 2つのデータセット間における共同研究率、国別順位、著者カバー率の系統的差異を特定すること。
• データセット選定が科学計測学的研究における結論に顕著に異なる影響を及ぼす可能性がある実証的証拠を提供すること。
• 国際的共同研究の評価において、データソース選定の重要性を研究者および政策立案者に啓発すること。

提案手法

• 研究は、定められた期間にわたるACMデジタルライブラリおよびMicrosoft Academic Graphからの出版記録を抽出する。
• 共同著者関係を特定し、機関所属に基づいて著者に国を割り当てる。
• IRCは、少なくとも1人の著者が異なる国に所属する出版物の割合として測定される。
• 著者と出版物のカバー率、国別共同研究順位、IRCレートを、2つのデータセット間で比較する。
• 統計的比較と相関分析を用いて、結果の整合性と乖離度を評価する。
• データ品質と完全性に関する感度チェックを、両ソースで実施する。

実験結果

リサーチクエスチョン

• RQ1 ACMデジタルライブラリとMicrosoft Academic Graphを用いて測定したIRCレートには、どのように差が生じるか？
• RQ2 2つのデータセット間で、国別共同研究順位はどの程度異なるか？
• RQ3 ACMデジタルライブラリとMicrosoft Academic Graphでは、著者および出版物のカバー率にどのように差が生じるか？
• RQ4 データセット選定が、IRC測定の信頼性と妥当性にどのような影響を及えるか？
• RQ5 1つのデータセットに、国際共同研究の測定に影響を及える系統的バイアスが存在するか？

主な発見

• 同じ出版期間において、ACMデジタルライブラリは国際共同研究率が38.6％であるのに対し、Microsoft Academic Graphは28.7％である。
• 国別共同研究順位には顕著な乖離が見られ、一部の国では1つのデータセットでは著しく高い順位にランクインしている。
• ACMデジタルライブラリは、特に米国外の機関に所属する著者および出版物の割合をより多くカバーしている。
• Microsoft Academic Graphは、英語圏外および米国以外の出版物のカバー率が低く、IRC測定の正確性に影響を与えている。
• 本研究では、データセット選定が国際的共同研究の規模と構造に関する結論に顕著に異なる影響を及える可能性があると同定した。
• 差異は、2つのソース間におけるデータ収集方法、インデクシングポリシー、および機関所属抽出手法の違いに起因している。