[論文レビュー] Google Scholar Metrics 2013: nothing new under the sun

Álvaro Cabezas-Clavijo, Emilio Delgado López‐Cózar|arXiv (Cornell University)|Jul 26, 2013

Web and Library Services参考文献 6被引用数 3

ひとこと要約

この論文は、Google Scholar Metrics 2013を評価し、以前のバージョンと比較して顕著な新機能が見られないことを確認した。以前のレビューで指摘された恒久的な問題はそのままであり、2003–2007から2008–2012へのタイムフレームの更新のみが行われ、サービス全体としての変化はほとんどなく、主な改善や革新は導入されていない。

ABSTRACT

Main characteristics of Google Scholar Metrics new version (july 2013) are presented. We outline the novelties and the weaknesses detected after a first analysis. As main conclusion, we remark the lack of new functionalities with respect to last editions, as the only modification is the update of the timeframe (2008-2012). Hence, problems pointed out in our last reviews still remain active. Finally, it seems Google Scholar Metrics will be updated in a yearly basis

研究の動機と目的

• Google Scholar Metrics 2013における新機能および改善事項の評価を目的とする。
• サービスの機能に根ざした恒久的な弱みや制限の特定を目的とする。
• 更新されたタイムフレーム（2008–2012）が、ジャーナル指標の信頼性および範囲に与える影響を評価することを目的とする。
• 前回のバージョンから著しく進化したか否かを判断することを目的とする。
• Google Scholar Metricsの現在の状態と今後の動向について、批判的な分析を提供することを目的とする。

提案手法

• Google Scholar Metrics 2013を、以前のバージョン（2012年以前）と比較して分析した。
• 新インターフェースおよびデータの提示方法について、新規性と使いやすさを評価した。
• 更新された引用カウントタイムフレーム（2008–2012）とそのジャーナル指標への影響を検討した。
• 以前の評価で指摘された繰り返し発生する技術的およびメソドロジカルな制限を特定・記録した。
• サービスの更新頻度と、長期的な信頼性に与える影響を分析した。
• 機能性とユーザーエクスペリエンスを評価するために、定性的および観察的アプローチを用いた。

実験結果

リサーチクエスチョン

• RQ1 Google Scholar Metrics 2013にどのような新機能が導入されたか？
• RQ2 更新された引用タイムフレーム（2008–2012）は、指標の信頼性および範囲にどのように影響するか？
• RQ3 以前の評価で指摘された恒久的な問題は、2013年版でも依然として存在するか？
• RQ4 2013年のアップデートは、意味的な進化を示しているのか、それとも単なる定期的なリセットにすぎないのか？
• RQ5 機能的革新のない年次アップデートには、どのような意味を持つのか？

主な発見

• Google Scholar Metrics 2013には、以前のバージョンと比較して新たな機能が導入されていない。
• 唯一の変更は、引用カウントのタイムフレームが2003–2007から2008–2012に更新されたことのみである。
• 以前のレビューで指摘された、透明性の欠如やメソドロジカルな一貫性の欠如といった恒久的な問題は、解決されていないままだった。
• サービスは、本質的な改善なしに年次更新サイクルを継続している。
• 革新の欠如は、指標の質や使いやすさを高める開発の焦点が限定的であることを示唆している。
• 評価の結論として、2013年版は以前のエディションと比べて顕著な進歩を遂げていない。