[論文レビュー] Citation Counting, Citation Ranking, and h-Index of Human-Computer Interaction Researchers: A Comparison between Scopus and Web of Science

Lokman I. Meho, Yvonne Rogers|ArXiv.org|Mar 12, 2008

scientometrics and bibliometrics research参考文献 40被引用数 7

ひとこと要約

本研究では、22名の上位HCI研究者を対象に、ScopusとWeb of Scienceの間でキャリテーションインパクトを比較し、Scopusが特にカンファレンスプロceedingsを含め、より広範なカバーを提供していることが判明した。これにより、hインデックスやキャリテーションランクがより洗練されたものとなる。ジャーナルのキャリテーション数に大きな差がなくとも、Scopusはより詳細で明確なキャリテーションネットワーク可視化を提供しており、カンファレンスのキャリテーションが不可欠なHCI研究評価において、Scopusを単独の情報源として推奨する。

ABSTRACT

This study examines the differences between Scopus and Web of Science in the citation counting, citation ranking, and h-index of 22 top human-computer interaction (HCI) researchers from EQUATOR--a large British Interdisciplinary Research Collaboration project. Results indicate that Scopus provides significantly more coverage of HCI literature than Web of Science, primarily due to coverage of relevant ACM and IEEE peer-reviewed conference proceedings. No significant differences exist between the two databases if citations in journals only are compared. Although broader coverage of the literature does not significantly alter the relative citation ranking of individual researchers, Scopus helps distinguish between the researchers in a more nuanced fashion than Web of Science in both citation counting and h-index. Scopus also generates significantly different maps of citation networks of individual scholars than those generated by Web of Science. The study also presents a comparison of h-index scores based on Google Scholar with those based on the union of Scopus and Web of Science. The study concludes that Scopus can be used as a sole data source for citation-based research and evaluation in HCI, especially if citations in conference proceedings are sought and that h scores should be manually calculated instead of relying on system calculations.

研究の動機と目的

• 上位HCI研究者に対するScopusとWeb of Scienceの間で、キャリテーションカウント、キャリテーションランク、hインデックスを評価・比較すること。
• Scopusの広範なデータベースカバレッジが、研究者インパクト指標に有意義な差をもたらすかどうかを評価すること。
• システム生成hインデックス値と手動計算値との間の信頼性および一貫性を検証すること。
• 個々の研究者に対して、ScopusとWeb of Scienceが生成するキャリテーションネットワークマップの違いを調査すること。
• ScopusとWeb of Scienceのhインデックススコアを、両者のデータのユニオンをベンチマークとして用いたGoogle Scholarのスコアと比較すること。

提案手法

• 分析対象として、EQUATORプロジェクトから選ばれた22名の主要HCI研究者を抽出した。
• Scopus、Web of Science、Google Scholarからキャリテーションカウントとhインデックス値を収集した。
• カンファレンスプロceedingsの影響を分離するために、ジャーナルのみのキャリテーションに注目して、キャリテーションデータを比較した。
• 両データベースを用いて、個々の研究者のキャリテーションネットワーク可視化を生成・比較した。
• hインデックスを手動で計算し、システムが報告する値と照合することで、正確性を評価した。
• Google Scholarとの比較のための基準として、ScopusとWeb of Scienceのデータのユニオンを用いた。

実験結果

リサーチクエスチョン

• RQ1 ScopusとWeb of Scienceの間で、HCI研究者のキャリテーションカウントとhインデックスはどのように異なるか？
• RQ2 Scopusのカンファレンスプロceedingsへの広範なカバレッジが、Web of Scienceと比較してキャリテーションランクやhインデックススコアに顕著な差をもたらすか？
• RQ3 個々の研究者に対して、ScopusとWeb of Scienceが生成するキャリテーションネットワークマップに顕著な差があるか？
• RQ4 ScopusとWeb of Scienceが報告するシステム生成hインデックス値は、手動計算値とどのように異なるか？
• RQ5 Google Scholarのhインデックススコアは、ScopusとWeb of Scienceのデータのユニオンから導かれたスコアとどのように比較できるか？

主な発見

• Scopusは、関連するACMおよびIEEEカンファレンスプロceedingsの含むことにより、Web of Scienceに比べてHCI文献を著しく広範にカバーしている。
• ジャーナルのみのキャリテーションに限定して比較した場合、両データベース間でキャリテーションカウントやhインデックスに顕著な差は認められなかった。
• 広範なカバレッジのおかげで、ScopusはWeb of Scienceよりも洗練され、明確なキャリテーションランクとhインデックス値を生成している。
• Scopusは個々の研究者に対して、Web of Scienceとは著しく異なるキャリテーションネットワークマップを生成しており、ネットワーク構造の差異が示唆される。
• ScopusとWeb of Scienceのシステム生成hインデックス値は、手動計算値と異なることが判明し、自動計算による潜在的な不正確さが示唆された。
• ScopusとWeb of Scienceのデータのユニオンに基づくhインデックスは信頼できるベンチマークとして機能し、カンファレンスのキャリテーションが重要なHCI研究評価において、Scopus単独で十分なキャリテーションベースの評価が可能である。