[论文解读] 2016 Google Scholar Metrics released: a matter of languages... and something else

Alberto Martín‐Martín, Juan Manuel Ayllón+2 more|arXiv (Cornell University)|Jan 1, 2016

Linguistics, Language Diversity, and Identity参考文献 5被引用 3

一句话总结

本文批判性評估了2016年Google Scholar Metrics的發布，識別出持續存在的限制，例如期刊索引不一致、多語言期刊的重複條目，以及移除如CEPR和IZA等工作論文系列。文章指出新增了五種語言排名（俄語、韓語、波蘭語、烏克蘭語、印尼語），同時排除了意大利語和荷蘭語，並呼籲對工具進行結構性改進，以提升其在學術評估中的透明度、準確性和可用性。

ABSTRACT

The 2016 edition of Google Scholar Metrics was released on July 15th 2016. There haven't been any structural changes respect to previous versions, which means that most of its limitations still persist. The biggest changes are the addition of five new language rankings (Russian, Korean, Polish, Ukrainian, and Indonesian) and elimination of two other language rankings (Italian and Dutch). In addition, for reasons still unknown, this new edition doesn't include as many working paper and discussion paper series as previous editions.

研究动机与目标

• 評估2016年Google Scholar Metrics發布在結構與方法論上的一致性。
• 識別並記錄期刊索引、引用數據與分類方面的持續限制。
• 研究語言特定排名的影響，以及某些語言類別（如意大利語、荷蘭語）被移除的後果。
• 檢視主要工作論文系列（如CEPR、IZA）從排名中消失的現象。
• 提出具體可行的改進建議，以提升Google Scholar Metrics在學術評估中的可靠性、透明度與可用性。

提出的方法

• 透過對2016年與2015年Google Scholar Metrics版本的系統性比較，使用視覺與文字分析法，檢視導航、排名與搜尋結果。
• 識別並記錄重複的期刊條目，特別是多語言出版物（如Revista Española de Cardiología）的重複現象。
• 分析引用數據的不一致性，包括錯誤連結、失效連結，以及同一期刊存在多個來源參考的情況。
• 評估索引標準，包括100篇論文的最低門檻要求及其對非英語與地方期刊的影響。
• 評估搜尋功能，包括關鍵字檢索與結果限制（例如每種語言100筆結果，每關鍵字20筆結果）。
• 基於 bibliometric 最佳實踐，提出15項改進建議，包括資料透明度、資料匯出功能與錯誤申報機制。

实验结果

研究问题

• RQ1 與先前版本相比，2016年Google Scholar Metrics發布引入了哪些變更？
• RQ2 為何CEPR與IZA工作論文系列即使在前一版本中擁有強勁的引用表現，仍被從2016年排名中移除？
• RQ3 索引不一致（如重複條目或語言特定期刊分割）如何影響Google Scholar Metrics的可靠性？
• RQ4 排除某些語言排名（如意大利語、荷蘭語）而新增其他語言排名（如韓語、俄語）有何影響？
• RQ5 為提升Google Scholar Metrics作為學術評估工具的透明度與準確性，需要哪些結構與方法論上的改進？

主要发现

• 2016年Google Scholar Metrics發布新增了五種語言排名（俄語、韓語、波蘭語、烏克蘭語、印尼語），但移除了意大利語與荷蘭語，且未提供明確理由。
• 主要工作論文系列如CEPR Discussion Papers（h5-index: 112）與IZA Discussion Papers（h5-index: 82）在2016年排名中不再列出，儘管其在前一版本中表現強勁。
• 持續發現索引錯誤，包括同一期刊的重複條目（如Brazilian Journal of Anesthesiology有三個條目）以及多語言期刊處理不一致。
• 期刊Revista Española de Cardiología的各語言版本被合併，而其他多語言期刊（如Revista Portuguesa de Neumologia）則未正確分離，導致資料污染。
• 文章連結經常錯誤或導向至不相關出版物，部分期刊因來自不同來源的資料聚合而顯示多種標題變體。
• 該產品在納入標準、時間範圍選擇與分類規則方面缺乏透明度，且不允許使用者檢視所有被引用或未被引用的文章，無法匯出資料，亦無錯誤申報機制。