[論文レビュー] Solo citations, duet citations, and prelude citations: New measures of the disruption of academic papers

Qiang Wu, Zhaoyang Yan|arXiv (Cornell University)|May 9, 2019

scientometrics and bibliometrics research参考文献 12被引用数 9

ひとこと要約

本稿は、音楽にたとえを用いて、学術論文の破壊的影響（disruption）を測る3つの新しい引用ベースの指標——単独引用（SC）、デュエット引用（DC）、プレリュード引用（PC）——を導入する。一般化された評価式を提案し、論文の研究革新性を評価する上で論理的かつ実証的に妥当な指標として、SC、SC-DC、SC/(SC+DC)、および(SC-DC)/(SC+DC)を特定する。

ABSTRACT

It is important to measure the disruption of academic papers. According to the characteristics of three different kinds of citations, this paper borrows musical vocabulary and names them solo citations (SC), duet citations (DC), and prelude citations (PC) respectively. Studying how to measure the disruption of a published work effectively, this study analyzes nine indicators and suggests a general evaluation formula. Seven of the nine indicators are innovations introduced by this paper: SC, SC-DC, SC-PC, SC-DC-PC, (SC-DC)/(SC+DC), (SC-PC)/(SC+DC), and (SC-DC-PC)/(SC+DC), as is the general formula. These indices are discussed considering two cases: One case concerns the Citation Indexes for Science and the other concerns Co-citations. The results show that, compared with other indicators, four indicators (SC, SC-DC, SC/(SC+DC), and (SC-DC)/(SC+DC)) are logically and empirically reasonable. Future research may consider combining these indices, for example, using SC multiplied by SC/(SC+DC) or SC-DC multiplied by (SC-DC)/(SC+DC), to get final evaluation results that contain desirable characteristics of two types of indicators. Confirming which of the evaluation results from these indicators can best reflect the innovation of research papers requires much empirical analysis.

研究の動機と目的

• 従来の引用回数を超えて、学術論文の破壊的影響を測る新たな意味のある指標を開発すること。
• 引用パターンに基づく文脈に敏感な測定法を導入することで、既存の引用指標の限界を是正すること。
• 引用インデックスと共同引用の2つの文脈において、提案された9つの引用ベースの指標の論理的整合性と一貫性を評価すること。
• 研究論文の革新性と破壊的影響を的確に反映する、最も強固な指標を特定すること。
• 将来的な研究評価に向け、複数の指標を統合する一般化された評価式を提案すること。

提案手法

• 音楽用語にインspiredされた3つの新しい引用タイプ——単独引用（SC）、デュエット引用（DC）、プレリュード引用（PC）——を提案する。
• SC、SC-DC、SC-PC、SC-DC-PC、(SC-DC)/(SC+DC)、(SC-PC)/(SC+DC)、(SC-DC-PC)/(SC+DC)の9つの新しい指標を定義し、正規化のためSC+DCを分母に用いる。
• 引用インデックス（Science）と共同引用ネットワークの2つの引用文脈に、これらの指標を適用する。
• 実際の引用データを用いて、指標の論理的整合性と一貫性を実証的に評価する。
• SC × SC/(SC+DC) などの指標の組み合わせを提案し、複数の指標の望ましい特性を統合する。
• 将来の研究評価に向け、最も有望な指標に基づいて一般化された評価式を導出する。

実験結果

リサーチクエスチョン

• RQ1 どの引用ベースの指標が、論理的に整合的かつ一貫した形で学術論文の破壊的影響を捉えられるか？
• RQ2 提案された指標（SC、DC、PC）は、引用インデックスや共同引用といった異なる引用文脈において、どのように性能を発揮するか？
• RQ3 複数の指標を組み合わせることで、単一の指標よりもより強固な研究革新性の評価が可能になるか？
• RQ4 9つの提案指標のうち、論理的妥当性と実証的妥当性の両方を満たすものはどれか？
• RQ5 複数の引用ベースの指標を統合する最適な式は何か？

主な発見

• SC、SC-DC、SC/(SC+DC)、(SC-DC)/(SC+DC) の4つの指標が、異なる引用文脈において論理的かつ実証的に妥当であることが判明した。
• (SC-DC)/(SC+DC) は、極めて高い論理的整合性を示し、引用回数の変動に対して感受性が低かった。
• SC/(SC+DC) は、共同著者や共有参照を含む全引用数に比して、一意的かつ重複のない引用の割合を効果的に捉えていた。
• SC-DC および SC-DC-PC は安定性に欠け、実証的性能も弱く、破壊的影響測定に限界があることが示された。
• 本研究は、SC と SC/(SC+DC) を乗算するなど、指標の組み合わせがより情報豊かな評価結果をもたらす可能性を確認した。
• 最も優れた指標を統合した一般評価式は、研究革新性の評価に柔軟かつ原理的かつ包括的なアプローチを提供する。