[論文レビュー] Google Scholar Metrics 2014: a low cost bibliometric tool

Alberto Martín‐Martín, Juan Manuel Ayllón+2 more|arXiv (Cornell University)|Jul 10, 2014

scientometrics and bibliometrics research参考文献 3被引用数 12

ひとこと要約

本稿は、2014年版グーグル・サイエンティフィック・メトリクスを低コストの文献計測ツールとして評価し、2009–2013年の更新済みデータ、構造的変更（サブカテゴリ数が268から261に減少）、および継続的な誤りを分析している。カスタマイズ性が限定的で機能も最小限であるにもかかわらず、言語や分野をまたいで一貫したh5インデックスおよびh5メジアン指標を提供するという安定性により、科学的インパクトを測定するうえで信頼性があると結論づけている。

ABSTRACT

We analyse the main features of the third edition of Google Scholar Metrics (GSM), released in June 2014, focusing on its more important changes, strengths, and weaknesses. Additionally, we present some figures that outline the dimensions of this new edition, and we compare them to those of previous editions. Principal among these figures are the number of visualized publications, publication types, languages, and the maximum and minimum h5-index and h5-median values by language, subject area, and subcategory. This new edition is marked by continuity. There is nothing new other than the updating of the time frame (2009-2013) and the removal of some redundant subcategories (from 268 to 261) for English written publications. Google has just updated the data, which means that some of the errors discussed in previous studies still persist. To sum up, GSM is a minimalist information product with few features, closed (it cannot be customized by the user), and simple (navigating it only takes a few clicks). For these reasons, we consider it a 'low cost' bibliometric tool, and propose a list of features it should incorporate in order to stop being labeled as such. Notwithstanding the above, this product presents a stability in its bibliometric indicators that supports its ability to measure and track the impact of scientific publications.

研究の動機と目的

• 2014年版グーグル・サイエンティフィック・メトリクス（第3版）の特徴、長所、短所を評価すること。
• データ範囲の変更、特に更新された期間（2009–2013）およびサブカテゴリ数の減少を分析すること。
• h5インデックスやh5メジアンといったGSMの文献計測指標が、言語や分野をまたいで信頼性と安定性を示すかどうかを評価すること。
• 2014年版で解決されていないまま残っている、以前の版から続く恒久的な誤りを特定すること。
• GSMを「低コスト」ツールから、より包括的でカスタマイズ性の高い文献計測リソースへと進化させるための改善案を提示すること。

提案手法

• 公表済みのデータおよびメタデータを用いて、2014年版グーグル・サイエンティフィック・メトリクスを以前の版と比較分析した。
• 視覚化された出版物数、出版物タイプ、言語、および分野・サブカテゴリごとのh5インデックス値を含む定量的指標を収集・分析した。
• 英語出版物のための重複または重複するカテゴリの削除に伴う7つのサブカテゴリの削除（268から261に）が、データの細分化と利用可能性に与える影響を評価した。
• h5インデックスおよびh5メジアン値が、時間経過とともに言語や分野をまたいで一貫性と安定性を示すかを評価した。
• 2014年版に見られる、以前の研究で報告されたのと同様の繰り返し発生するデータ誤りを特定・文書化した。
• 機能性、カスタマイズ性、学術的有用性の向上を目的とした、機能強化のリストを提示した。

実験結果

リサーチクエスチョン

• RQ1 2014年版グーグル・サイエンティフィック・メトリクスは、データ範囲および構造面で、以前の版とどのように進化したか。
• RQ2 2014年版において、h5インデックスおよびh5メジアン指標が、さまざまな言語や分野でどれほど安定的かつ信頼性があるか。
• RQ3 グーグル・サイエンティフィック・メトリクスに根強く残るデータ誤りは、その文献計測ツールとしての信頼性をどの程度損なっているか。
• RQ4 グーグル・サイエンティフィック・メトリクスを「低コスト」ツールから、より包括的でカスタマイズ性の高い文献計測リソースへと高めるために、何が欠けているか。
• RQ5 サブカテゴリ数の減少（268から261に）は、研究者がデータの細分化と利用可能性をどう影響するか。

主な発見

• 2014年版グーグル・サイエンティフィック・メトリクスは、データ期間を2009–2013年に更新したが、この期間変更以外に新たな機能は追加されていない。
• サブカテゴリ数は268から261に減少し、主に英語出版物のための重複または重複するカテゴリの削除によるものである。
• 以前の版から続く恒久的なデータ誤りが2014年版にも依然として存在し、データの正確性に影響を与えている。
• h5インデックスおよびh5メジアン値は、言語や分野をまたいで顕著な安定性を示しており、インパクト測定におけるツールの信頼性を裏付けている。
• 最小限のインターフェースとカスタマイズ性の欠如にもかかわらず、グーグル・サイエンティフィック・メトリクス2014年版は、時間経過にわたって一貫した文献計測指標を維持している。
• シンプルさ、限定的な機能、閉鎖型アーキテクチャゆえに、このツールは「低コスト」と特徴づけられるが、出版物インパクトの追跡には依然として実用的である。