[論文レビュー] A New Era in Citation and Bibliometric Analyses: Web of Science, Scopus, and Google Scholar

Lokman I. Meho, Kiduk Yang|ArXiv.org|Dec 23, 2006

scientometrics and bibliometrics research参考文献 60被引用数 142

ひとこと要約

本論文は、図書館学・情報学の教員からなる1,100件以上の作品を対象に、Web of Science (WoS) を基準として、Google Scholar と Scopus が引用指標に与える影響を評価している。引用回数と学者ランクの違いを比較することで、データベース間で顕著な差異が生じることを明らかにした。これは、学術評価において単一のデータベース（特に WoS）に依存することの限界を示しており、公平性と正確性を確保するためには複数のデータソースを用いた引用分析が不可欠であると提言している。

ABSTRACT

Academic institutions, federal agencies, publishers, editors, authors, and librarians increasingly rely on citation analysis for making hiring, promotion, tenure, funding, and/or reviewer and journal evaluation and selection decisions. The Institute for Scientific Information's (ISI) citation databases have been used for decades as a starting point and often as the only tools for locating citations and/or conducting citation analyses. ISI databases (or Web of Science), however, may no longer be adequate as the only or even the main sources of citations because new databases and tools that allow citation searching are now available. Whether these new databases and tools complement or represent alternatives to Web of Science (WoS) is important to explore. Using a group of 15 library and information science faculty members as a case study, this paper examines the effects of using Scopus and Google Scholar (GS) on the citation counts and rankings of scholars as measured by WoS. The paper discusses the strengths and weaknesses of WoS, Scopus, and GS, their overlap and uniqueness, quality and language of the citations, and the implications of the findings for citation analysis. The project involved citation searching for approximately 1,100 scholarly works published by the study group and over 200 works by a test group (an additional 10 faculty members). Overall, more than 10,000 citing and purportedly citing documents were examined. WoS data took about 100 hours of collecting and processing time, Scopus consumed 200 hours, and GS a grueling 3,000 hours.

研究の動機と目的

• Web of Science、Scopus、Google Scholar の間で引用回数の信頼性と一貫性を評価すること。
• 代替データベースの使用が、学者ランクや引用指標にどのように影響するかを検討すること。
• 各データベースから引用データを収集するのに要する時間の投資を評価すること。
• 各引用データベースの特長、弱み、独自のカバレッジを、学術的評価において評価すること。
• 学術意思決定における引用分析の改善を支援する、根拠に基づいた提言を提供すること。

提案手法

• 本研究では、15名の図書館学・情報学の教員が執筆した1,100件の学術的著作物および、10名の教員からなるテストグループの200件の追加作品について、引用検索を実施した。
• Web of Science、Scopus、Google Scholar から引用データを収集・処理し、引用文献および「引用されたとされる」文書を詳細に追跡した。
• 研究者は、3つのデータベース間で引用回数と学者ランクの一致度と重複度を比較して、一貫性を評価した。
• データ収集に要した時間を体系的に記録した：WoSで100時間、Scopusで200時間、Google Scholarで3,000時間。
• 引用の質、言語、独自性を各データベースで分析し、カバレッジと信頼性を評価した。
• 引用の重複度と独自性を比較分析することで、各データベースの追加的価値を評価した。

実験結果

リサーチクエスチョン

• RQ1 同じ学術的著作物について、Web of Science、Scopus、Google Scholar での引用回数にどのような差が生じるか？
• RQ2 Web of Science を使用するのと比較して、Scopus や Google Scholar を使用した場合、学者ランクの引用回数に基づく差はどの程度大きいのか？
• RQ3 3つのデータベースそれぞれから引用データを収集するために要する時間の投資はどの程度か？
• RQ4 Web of Science、Scopus、Google Scholar における引用のカバレッジ、質、言語の違いは何か？
• RQ5 これらの差異が、採用、准教授任用、助成金決定などの引用に基づく学術評価にどのような影響を及えるか？

主な発見

• Google Scholar は、Web of Science や Scopus よりも顕著に高い引用回数を示しており、一部の作品では GS での引用回数が10倍以上に達した。
• Scopus と Web of Science は引用回数に中程度の重複を示したが、特に中位層および新進の研究者ではランクの差が顕著に見られた。
• Google Scholar での引用データ収集に要した時間（3,000時間）は、Web of Science（100時間）や Scopus（200時間）に比べて著しく長く、実務的負担が大きいことが明らかになった。
• Google Scholar は、非英語および査読済みでない出典の割合が高く、引用の質と信頼性に懸念が生じた。
• Web of Science は、引用の質と一貫性が最も高く評価されたが、Scopus や特に Google Scholar に比べてカバレッジが限定的であった。
• 本研究では、引用分析に単に Web of Science に依存することは、特に多様分野や非英語の研究において、引用回数を過小評価し、学術的インパクトを誤って表現するリスクを伴うと判明した。