[论文解读] Google Scholar Metrics 2013: nothing new under the sun

Álvaro Cabezas-Clavijo, Emilio Delgado López‐Cózar|arXiv (Cornell University)|Jul 26, 2013

Web and Library Services参考文献 6被引用 3

一句话总结

本文評估了 Google Scholar Metrics 2013，發現其與先前版本相比並無顯著的新功能。它確認了早期評估中持續存在的問題，僅將時間範圍從 2003–2007 更新至 2008–2012，並總結指出該服務整體仍無明顯改變，未引入重大改進或創新。

ABSTRACT

Main characteristics of Google Scholar Metrics new version (july 2013) are presented. We outline the novelties and the weaknesses detected after a first analysis. As main conclusion, we remark the lack of new functionalities with respect to last editions, as the only modification is the update of the timeframe (2008-2012). Hence, problems pointed out in our last reviews still remain active. Finally, it seems Google Scholar Metrics will be updated in a yearly basis

研究动机与目标

• 評估 Google Scholar Metrics 2013 中引入的新功能與改進。
• 識別服務功能中持續存在的弱點與限制。
• 評估更新後的時間範圍（2008–2012）是否代表顯著進步。
• 判斷自先前版本以來，該服務是否實現了顯著演進。
• 對 Google Scholar Metrics 的當前狀態與未來發展趨勢進行批判性分析。

提出的方法

• 對 Google Scholar Metrics 2013 與先前版本（2012 年及更早）進行比較分析。
• 評估新介面與資料呈現方式的創新性與可用性。
• 檢視更新後的引用時間範圍（2008–2012）及其對期刊指標的影響。
• 識別並記錄先前評估中反覆出現的技術與方法論限制。
• 分析服務更新頻率及其對長期可靠性的影響。
• 使用質性與觀察性方法評估功能與使用者體驗。

实验结果

研究问题

• RQ1 Google Scholar Metrics 2013 中引入了哪些新功能？
• RQ2 更新後的引用時間範圍（2008–2012）如何影響指標的可靠性與涵蓋範圍？
• RQ3 早期評估中識別出的持續性問題在 2013 版本中是否仍然存在？
• RQ4 2013 年更新是否代表顯著演進，還是僅為例行更新？
• RQ5 每年更新卻無功能創新，其影響為何？

主要发现

• 與先前版本相比，Google Scholar Metrics 2013 並未引入任何新功能。
• 唯一變更僅為將引用時間範圍從 2003–2007 更新至 2008–2012。
• 早期評估中識別出的持續性問題，如缺乏透明度與方法論不一致，仍未解決。
• 該服務仍維持每年更新週期待，無實質改進。
• 缺乏創新顯示開發重點未著重於提升指標品質或可用性。
• 評估結論指出，2013 版本相較於先前版本並無顯著進步。