[论文解读] Google Scholar Metrics 2014: a low cost bibliometric tool

Alberto Martín‐Martín, Juan Manuel Ayllón+2 more|arXiv (Cornell University)|Jul 10, 2014

scientometrics and bibliometrics research参考文献 3被引用 12

一句话总结

本文評估 Google Scholar Metrics 2014 作為一種低成本文獻計量工具，分析其更新的 2009–2013 年數據、結構變更（子類別從 268 個減少至 261 個）以及持續存在的錯誤。儘管自訂功能有限且功能較少，本研究仍肯定其在跨語言與學科領域中，透過一致的 h5 指數與 h5 中位數指標，穩定衡量科學影響力的表現。

ABSTRACT

We analyse the main features of the third edition of Google Scholar Metrics (GSM), released in June 2014, focusing on its more important changes, strengths, and weaknesses. Additionally, we present some figures that outline the dimensions of this new edition, and we compare them to those of previous editions. Principal among these figures are the number of visualized publications, publication types, languages, and the maximum and minimum h5-index and h5-median values by language, subject area, and subcategory. This new edition is marked by continuity. There is nothing new other than the updating of the time frame (2009-2013) and the removal of some redundant subcategories (from 268 to 261) for English written publications. Google has just updated the data, which means that some of the errors discussed in previous studies still persist. To sum up, GSM is a minimalist information product with few features, closed (it cannot be customized by the user), and simple (navigating it only takes a few clicks). For these reasons, we consider it a 'low cost' bibliometric tool, and propose a list of features it should incorporate in order to stop being labeled as such. Notwithstanding the above, this product presents a stability in its bibliometric indicators that supports its ability to measure and track the impact of scientific publications.

研究动机与目标

• 評估 Google Scholar Metrics 第三版（2014）在功能、優勢與弱點方面的表現。
• 分析資料範圍的變更，包括更新的時間範圍（2009–2013）以及子類別數量的減少。
• 評估 GSM 的文獻計量指標（如 h5 指數與 h5 中位數）在不同語言與學科領域中的可靠性與穩定性。
• 識別前版中已知的持續錯誤，並確認其在 2014 版本中仍未解決。
• 提出改進建議，以使 GSM 從「低成本」工具轉變為更具彈性與可自訂的文獻計量資源。

提出的方法

• 利用已發佈的資料與元數據，對 Google Scholar Metrics 2014 與前版進行比較分析。
• 收集並分析量化指標，包括可視化出版物數量、出版類型、語言以及各學科與子類別的 h5 指數值。
• 評估移除 7 個重複或重疊的子類別（從 268 個減少至 261 個）對資料細緻度與可用性的影響。
• 評估 h5 指數與 h5 中位數值在不同語言與學科領域中隨時間的穩定性與一致性。
• 識別並記錄 2014 版本中持續存在的重複性資料錯誤，與先前研究報告的錯誤類似。
• 提出一項功能改進清單，以提升工具的功能性、自訂彈性與學術實用性。

实验结果

研究问题

• RQ1 Google Scholar Metrics 2014 在資料範圍與結構方面，相較於前版有何演變？
• RQ2 2014 版本中，h5 指數與 h5 中位數指標在不同語言與學科領域中的穩定性與可靠性如何？
• RQ3 Google Scholar Metrics 中持續存在的資料錯誤在多大程度上削弱了其作為文獻計量工具的可信度？
• RQ4 缺少哪些具體功能，將使 Google Scholar Metrics 從「低成本」工具提升為更全面且可自訂的文獻計量資源？
• RQ5 子類別數量從 268 個減少至 261 個，對研究人員而言，對資料細緻度與可用性有何影響？

主要发现

• Google Scholar Metrics 2014 將資料期間更新為 2009–2013，但除了時間範圍變更外，未引入任何新功能。
• 子類別數量從 268 個減少至 261 個，主要係因移除英文出版物的重複或重疊類別。
• 早期版本中已知的持續性資料錯誤在 2014 版本中依然存在，影響資料準確性。
• h5 指數與 h5 中位數值在不同語言與學科領域中表現出顯著的穩定性，支持該工具在影響力衡量上的可靠性。
• 儘管介面極簡且缺乏自訂功能，Google Scholar Metrics 2014 仍能維持指標在時間上的穩定性。
• 該工具因其簡易性、功能有限與封閉架構，被視為「低成本」工具，但其仍是追蹤出版影響力的可行選擇。