[论文解读] Toward alternative metrics of journal impact: A comparison of download and citation data

Johan Bollen, Herbert Van de Sompel+2 more|ArXiv.org|Mar 3, 2005

Web visibility and informetrics参考文献 43被引用 6

一句话总结

本文提出使用基于下载的社交网络指标作为期刊影响因子的替代指标，与传统的引文指标（如ISI影响因子）进行比较。研究发现，基于下载数据的网络揭示了一种与全球性、以引文为中心的ISI影响因子显著不同的、具有本地相关性的期刊影响形式，表明使用数据可为学术影响力提供一种互补的、具有结构依据的视角。

ABSTRACT

We generated networks of journal relationships from citation and download data, and determined journal impact rankings from these networks using a set of social network centrality metrics. The resulting journal impact rankings were compared to the ISI IF. Results indicate that, although social network metrics and ISI IF rankings deviate moderately for citation-based journal networks, they differ considerably for journal networks derived from download data. We believe the results represent a unique aspect of general journal impact that is not captured by the ISI IF. These results furthermore raise questions regarding the validity of the ISI IF as the sole assessment of journal impact, and suggest the possibility of devising impact metrics based on usage information in general.

研究动机与目标

• 探索超越基于引文的ISI影响因子的期刊影响替代指标。
• 调查数字图书馆中的下载模式是否能生成有意义的、具有结构依据的期刊影响排名。
• 将这些基于使用的排名与广泛使用的ISI影响因子及基于引文的网络指标进行比较。
• 评估基于下载的指标作为更广泛期刊影响概念（Ig）操作化形式的有效性与互补性。

提出的方法

• 从期刊引文记录（JCR）构建作者生成的网络（AGN），以模拟基于引文的期刊关系。
• 从数字图书馆的连续下载日志构建读者生成的网络（RGN），应用检索一致性假设以推断期刊间的关系。
• 对AGN和RGN同时应用社会网络中心性指标（例如特征向量中心性）以推导期刊影响排名。
• 将RGN和AGN生成的排名与ISI影响因子进行比较，以评估其差异与相关性。
• 使用ISI JCR中期刊的代表性样本，以确保各类指标之间的可比性。
• 提出一种可扩展的框架，通过OAI-PMH等标准在机构间聚合使用数据，以构建具有全球代表性的RGN。

实验结果

研究问题

• RQ1 基于下载数据的期刊影响排名与基于引文及ISI影响因子的排名相比如何？
• RQ2 应用于基于下载网络的社会网络中心性指标在多大程度上反映了有效且有意义的期刊影响形式？
• RQ3 基于使用的指标能否捕捉到ISI影响因子等基于引文的指标所遗漏的期刊影响方面？
• RQ4 RGN（基于下载的网络）的结构特性与AGN（基于引文的网络）有何不同？
• RQ5 能否将局部数字图书馆社区的使用数据推广为具有全球代表性的期刊影响指标？

主要发现

• 基于下载数据的期刊影响排名（RGN）与ISI影响因子存在显著差异，表明其揭示了一种独特且具有本地相关性的影响力视角。
• 应用于基于引文网络（AGN）的社会网络指标与ISI IF高度相关，验证了其作为传统影响力衡量指标的有效性。
• 基于下载的网络揭示了引文数量未能捕捉到的期刊影响力结构模式，表明存在学术影响力的不同维度。
• 研究发现，本地读者群体对期刊影响力的认知可能与ISI IF所反映的全球共识存在分歧。
• 结果表明，使用数据（尤其是数字图书馆日志）可产生有意义的、替代性的期刊影响力指标，且这些指标不被ISI IF所涵盖。
• 作者提出，通过整合各机构共享的使用日志，构建全球聚合的RGN，可产生新型、开放且更全面的影响力指标。