[論文レビュー] The Operationalization of "Fields" as WoS Subject Categories (WCs) in Evaluative Bibliometrics: The cases of "Library and Information Science" and "Science & Technology Studies"

Loet Leydesdorff, Lutz Bornmann|arXiv (Cornell University)|Jul 29, 2014

scientometrics and bibliometrics research参考文献 47被引用数 12

ひとこと要約

この論文は、評価的研究における文献計測正規化の基準セットとしてのWeb of Scienceの主題分類（WCs）の使用を批判し、インデクサーエフェクトや一貫性の欠如による分類の問題が、図書館学・情報学および科学・技術研究（STS）の分野における信頼性を損なうことを示している。研究分野の特性に即した分類法、例えばアルゴリズム的クラスタリングや専門的インデクシング用語の導入により、『最良の実践』から『可能な限り最良の実践』への移行を提唱し、評価の正確性と妥当性を高めることを主張する。

ABSTRACT

Normalization of citation scores using reference sets based on Web-of-Science Subject Categories (WCs) has become an established ("best") practice in evaluative bibliometrics. For example, the Times Higher Education World University Rankings are, among other things, based on this operationalization. However, WCs were developed decades ago for the purpose of information retrieval and evolved incrementally with the database; the classification is machine-based and partially manually corrected. Using the WC "information science & library science" and the WCs attributed to journals in the field of "science and technology studies," we show that WCs do not provide sufficient analytical clarity to carry bibliometric normalization in evaluation practices because of "indexer effects." Can the compliance with "best practices" be replaced with an ambition to develop "best possible practices"? New research questions can then be envisaged.

研究の動機と目的

• Web of Scienceの主題分類（WCs）が評価的研究における文献計測正規化の基準セットとして果たす信頼性を検討すること。
• インデクサーの影響や一貫性の欠如によるWCベースの正規化における体系的欠陥を特定すること。
• WCが機関や個人間の引用インパクトを比較するための安定的で分野特異的な基盤を提供するという仮定を検証すること。
• アルゴリズム的クラスタリングや専門的インデクシング用語などの、より強固な代替手法を用いて、文献計測評価における基準セットを定義することを提唱すること。
• 既存の『最良の実践』から、より厳密で研究に裏付けられた『可能な限り最良の実践』への移行を促すこと。

提案手法

• Web of ScienceデータベースにおけるWCの運用方法を分析し、情報検索ツールとしての歴史的発展に焦点を当てるが、評価基準としては使われていない点に注目する。
• 『図書館学・情報学』および『科学・技術研究』（STS）分野のジャーナル分類を比較し、基準セットの整合性と一貫性を評価する。
• 複数の重複する、または曖昧なWCが、特に多分野にまたがる分野において正規化結果に与える影響を評価する。
• CPP/FcsmおよびMNCSといった既存の正規化手法をレビューし、WCに基づくジャーナル分類に依存する点の限界を指摘する。
• 代替の基準セット生成法、例えば引用関係のアルゴリズム的クラスタリング（Leidenランキングで採用）や専門的インデクシング用語（例：MeSH、Chemical Abstracts）を提案する。
• 各手法の妥当性、再現可能性、引用ベース正規化における「二重引用ウィンドウ問題」などのトレードオフを議論する。

実験結果

リサーチクエスチョン

• RQ1 Web of Scienceの主題分類（WCs）は、評価的研究における文献計測正規化において、どれほど安定的かつ分析的に整合性のある基盤を提供できるか？
• RQ2 インデクサーの影響やWC内でのジャーナル分類の不一致は、図書館学・情報学や科学・技術研究分野における引用正規化の妥当性をどの程度損なうか？
• RQ3 元々情報検索を目的として設計されたWCに依存することが、現代の評価的文献計測においてなぜ問題となるのか？
• RQ4 Leidenランキングで採用されているようなアルゴリズム的生成分野の限界は、解釈可能性、検証可能性、再現可能性の観点からどのようなものか？
• RQ5 専門的インデクシング用語や引用ベースクラスタリングといった代替の基準セット定義は、WCベースのアプローチに比べて、より信頼性があり説得力のある正規化を可能にするか？

主な発見

• Web of Scienceの主題分類（WCs）は評価的文献計測を目的として設計されておらず、顕著なインデクサー効果を示し、正規化の基準セットとしての信頼性を損なっている。
• 『図書館学・情報学』分野は単一のWC「information science & library science」に一貫して分類されておらず、分野の境界や引用パターンを正確に反映していない可能性がある。
• 科学・技術研究（STS）は専用のWCを有しておらず、複数のカテゴリーに分散し、正規化プロセスにおける誤分類のリスクが生じる。
• ジャーナルに複数の重複するWCが適用されることで、特に多分野にまたがる研究分野において、基準セットの分析的明確性が低下する。
• Leidenランキングで用いられるアルゴリズム的クラスタリング法は、より動的で引用に基づく代替手法を提供するが、検証、命名、再現性の面で課題を抱えている。
• 本論文は、WCに基づく現在の『最良の実践』が不十分であり、より良い分類システムに裏付けられた『可能な限り最良の実践』への移行が、必要かつ可能であると結論づける。