[論文レビュー] 2016 Google Scholar Metrics released: a matter of languages... and something else

Alberto Martín‐Martín, Juan Manuel Ayllón+2 more|arXiv (Cornell University)|Jan 1, 2016

Linguistics, Language Diversity, and Identity参考文献 5被引用数 3

ひとこと要約

この論文は、2016年版 Google Scholar Metrics のリリースを批判的に評価し、一貫性のないジャーナルインデクシング、多言語ジャーナルの重複エントリ、CEPR や IZA のようなワーキングペーパーシリーズの削除といった、長年の問題を特定している。新たにロシア語、韓国語、ポーランド語、ウクライナ語、インドネシア語の5つの言語ランクが追加された一方で、イタリア語とオランダ語は除外された。本稿は、学術的評価における透明性、正確性、使いやすさを高めるために、構造的な改善を求める。

ABSTRACT

The 2016 edition of Google Scholar Metrics was released on July 15th 2016. There haven't been any structural changes respect to previous versions, which means that most of its limitations still persist. The biggest changes are the addition of five new language rankings (Russian, Korean, Polish, Ukrainian, and Indonesian) and elimination of two other language rankings (Italian and Dutch). In addition, for reasons still unknown, this new edition doesn't include as many working paper and discussion paper series as previous editions.

研究の動機と目的

• 2016年版 Google Scholar Metrics のリリースが、構造的および方法論的に一貫性を持っているかを評価すること。
• ジャーナルインデクシング、引用データ、分類に関する、長年の制限を特定し文書化すること。
• 言語別ランクの影響と、イタリア語やオランダ語といった特定の言語カテゴリの削除がもたらす影響を調査すること。
• CEPR や IZA のような主要なワーキングペーパーシリーズがランキングから消えた影響を検討すること。
• Google Scholar Metrics の信頼性、透明性、使いやすさを高めるために、実行可能な改善策を提案すること。

提案手法

• 2015年版と比較して、ナビゲーション、ランク、検索結果の視覚的およびテクスチャル分析を用いた、2016年版 Google Scholar Metrics の体系的比較。
• 特に多言語出版物（例：Revista Española de Cardiología）における重複ジャーナルエントリの特定と文書化。
• 引用データの不整合性の分析、具体的には誤ったリンク、無効リンク、同一ジャーナルに対する複数のソースレファレンス。
• インデクシング基準の評価、特に100記事以上という最低要件が英語以外および地域ジャーナルに与える影響。
• 検索機能の評価、キーワードベースの検索と制限（例：1言語あたり100件、1キーワードあたり20件）の分析。
• 文献計測のベストプラクティスに基づき、15の改善提案（データの透明性、エクスポート機能、エラー報告機能など）を提示。

実験結果

リサーチクエスチョン

• RQ1 2016年版 Google Scholar Metrics は、以前のバージョンと比較して、どのような変更が加えられたか？
• RQ2 CEPR や IZA のディスカッションペーパーシリーズは、前回のバージョンで強い引用実績を示していたにもかかわらず、なぜ2016年のランクから削除されたのか？
• RQ3 重複エントリや言語別ジャーナル分割といったインデクシングの不整合が、Google Scholar Metrics の信頼性にどのように影響するか？
• RQ4 イタリア語やオランダ語といった言語ランクが除外された一方で、韓国語やロシア語といった言語ランクが追加された場合、どのような意味を持つのか？
• RQ5 学術的評価ツールとしての Google Scholar Metrics の透明性と正確性を高めるために、どのような構造的および方法論的改善が必要か？

主な発見

• 2016年版 Google Scholar Metrics は、ロシア語、韓国語、ポーランド語、ウクライナ語、インドネシア語の5つの新しい言語ランクを導入したが、イタリア語とオランダ語は除外された。その理由については明確な説明が与えられなかった。
• CEPR ディスカッションペーパー（h5-index: 112）や IZA ディスカッションペーパー（h5-index: 82）といった主要なワーキングペーパーシリーズが、前回のバージョンで強い引用実績を示していたにもかかわらず、2016年のランクから削除された。
• 長年のインデクシングエラーが確認された。具体的には、同一ジャーナルに重複エントリ（例：ブラジル医学アニュアルズ・ジャーナルに3件のエントリ）が存在し、多言語ジャーナルの取り扱いが一貫していなかった。
• Revista Española de Cardiología は言語別に統合された一方で、Revista Portuguesa de Neumologia のような他の多言語ジャーナルは適切に分離されておらず、データの汚染が生じていた。
• 記事へのリンクが頻繁に誤っており、関連のない出版物へと飛ばされるケースもあった。また、複数のソースからのデータ集約により、一部のジャーナルに複数のタイトル表記が見られた。
• インクルージョン基準、期間選択、分類ルールに関する透明性が欠如しており、ユーザーがすべての引用済みまたは未引用の記事を確認できず、データのエクスポートもできず、エラー報告機能も存在しない。