[論文レビュー] Caveats for the Use of Citation Indicators in Research and Journal Evaluations

Loet Leydesdorff|ArXiv.org|Nov 7, 2009

scientometrics and bibliometrics research被引用数 15

ひとこと要約

この論文は、研究評価における引用指標の盲目的な使用を批判し、出版年齢、自己引用率、分野固有の規範の違いにより、分野・学術誌・機関間で引用慣行に顕著な差が生じることを主張する。非Web of Science/ISI インdex化誌、特に英語圏外や横断的分野のものでは、インパクト指標において構造的な不利を被っていることが示され、非内部的引用に焦点を当てた「外部から引用されたインパクトファクター」を提唱し、それにより真の影響力をより的確に反映できるようにする。

ABSTRACT

Ageing of publications, percentage of self-citations, and impact vary from journal to journal within fields of science. The assumption that citation and publication practices are homogenous within specialties and fields of science is invalid. Furthermore, the delineation of fields and among specialties is fuzzy. Institutional units of analysis and persons may move between fields or span different specialties. The match between the citation index and institutional profiles varies among institutional units and nations. The respective matches may heavily affect the representation of the units. Non-ISI journals are increasingly cornered into "transdisciplinary" Mode-2 functions with the exception of specialist journals publishing in languages other than English. An "externally cited impact factor" can be calculated for these journals. The citation impact of non-ISI journals will be demonstrated using Science and Public Policy as the example.

研究の動機と目的

• 科学分野および専門分野内で引用慣行が一様であるという仮定に挑戦すること。
• 機関および国による引用行動の差が、引用ベースの評価における研究単位の表現を歪めることを浮き彫りにすること。
• 英語圏外や横断的分野の学術誌に特に顕著な、非Web of Science（非-ISI）誌が受ける構造的不利を示すこと。
• 非ISI誌の引用インパクトをより公平に評価できる代替指標「外部から引用されたインパクトファクター」を提唱すること。
• 引用慣行における構造的・分野的差異を考慮することで、研究評価の妥当性と公平性を高めること。

提案手法

• 同じ科学分野内の学術誌間で、出版年齢、自己引用率、インパクトファクターの変動を特定するため、引用パターンを分析すること。
• 引用データベースのカバレッジと機関のプロファイルを比較し、研究機関が引用データベースにどのように表現されているかを評価すること。
• 自己引用や内部の引用ネットワークによるバイアスを低減するために、外部からの引用に限定する「外部から引用されたインパクトファクター」という概念を導入すること。
• 『Science and Public Policy』を事例として、主要な引用インデックスへの非カバレッジが、学術誌の影響力の評価に与える影響を実証的に示すこと。
• bibliometric手法を用いて、特に横断的分野および英語圏外の文脈において、ISIインデックス化誌と非ISI誌の間で引用分布とインパクト指標を比較すること。

実験結果

リサーチクエスチョン

• RQ1 同じ科学分野内の学術誌間で、自己引用や出版年齢を含む引用慣行はどの程度変動するか？
• RQ2 インデックス化の違い（ISI 対 非-ISI）が、研究機関や研究者に対する研究の表現と認識されるインパクトにどのように影響するか？
• RQ3 なぜ英語圏外や横断的分野の学術誌は、引用ベースの評価システムにおいて構造的に不利を被るのか？
• RQ4 「外部から引用されたインパクトファクター」は、非Web of Science インデックス化誌のインパクトをより正確かつ公平に測定できるのか？
• RQ5 科学分野や専門分野の曖昧な境界が、研究評価における引用指標の妥当性をどのように損なうのか？

主な発見

• 自己引用率や出版物の年齢といった引用慣行は、学術誌や分野によって顕著に異なるため、引用行動に一様性があるという仮定は誤りである。
• 引用インデックスのカバレッジと機関のプロファイルの一致度は、機関や国によって異なるため、研究出力の表現が歪められる。
• 非Web of Science（非-ISI）誌は、次第に「横断的」な役割に追いやられ、特に英語で発行されていない場合、インパクト指標での可視性が低下している。
• 非ISI誌に対して「外部から引用されたインパクトファクター」を計算可能であり、内部からの引用を除くことで、実際の引用インパクトをより的確に反映できる。
• 『Science and Public Policy』を事例に、主要な引用データベースへの非カバレッジが、学術誌の真の影響力の低評価を引き起こすことを示している。
• 研究評価における引用指標は中立的な指標ではなく、機関的・言語的・分野的構造に影響を受けており、解釈には注意が必要であることが明らかになった。