[論文レビュー] Citations Systematically Misrepresent the Quality and Impact of Research Articles: Survey and Experimental Evidence from Thousands of Citers

Misha Teplitskiy, Eamon Duede+2 more|arXiv (Cornell University)|Feb 24, 2020

scientometrics and bibliometrics research参考文献 15被引用数 9

ひとこと要約

本研究は、引用回数が研究の質やインパクトに関する認識を系統的に歪めることを明らかにした。15分野にまたがる12,670名の著者を対象としたアンケート調査により、引用行動のバイアスが存在することが示された。高引用回数の論文は、引用回数が少ない論文に対しては質の過大評価を引き起こす一方、高引用回数の論文は、しばしば微小な影響や影響なしの引用として使われるため、インパクトの低評価を受ける。

ABSTRACT

Citations are ubiquitous in evaluating research, but how exactly they relate to what they are thought to measure (quality and intellectual impact) is unclear. We investigate the relationships between citations, quality, and impact using a survey with an embedded experiment in which 12,670 authors in 15 academic fields describe about 25K specific referencing decisions. Results suggest that citation counts, when equated with quality and impact, are biased in opposite directions. First, experimentally exposing papers' actual citation counts during the survey causes respondents to perceive all but the top 10% cited papers as of lower quality. Because perceptions of quality are a key factor in citing decisions, citation counts are likely to endogenously cause more citing of top papers and equating them with quality overestimates the actual quality of those papers. Conversely, 54% of references had either zero or minor influence on authors who cite them, but references to highly cited papers were about 200% more likely to denote substantial impact. Equating citations with impact thus underestimates the impact of highly cited papers. Real citation practices thus reveal that citations are biased measures of quality and impact.

研究の動機と目的

• 引用回数が研究者の研究の質や知的インパクトに関する認識にどのように影響するかを調査すること。
• 引用回数と実際の影響の間の乖離が、引用意思決定にどのように現れるかを検討すること。
• 引用回数を質やインパクトと同一視することによって、研究評価において系統的なバイアスが生じるかどうかを評価すること。
• 引用の可視性が著者が引用行動をとる際の基準や、引用された論文の評価価値にどのように影響を与えるかを理解すること。

提案手法

• 15の学術分野にまたがる12,670名の著者を対象とした大規模なアンケート調査を実施し、引用意思決定に関するデータを収集した。
• アンケートに実験を組み込み、参加者が引用された論文の実際の引用回数にさらされた。
• 引用された論文の認識された質と影響を、ゼロ、微小、および顕著な影響の3段階に分類して収集した。
• 多変量回帰モデルを用いて、引用回数と認識された質／インパクトの関係を分析した。
• 影響レベル（ゼロ、微小、顕著）に基づいて引用意思決定を分類し、インパクトバイアスを評価した。
• 分野ごとの制御変数を用いて、分野ごとの引用習慣や評価基準の違いを補正した。

実験結果

リサーチクエスチョン

• RQ1 実際の引用回数は、引用された論文の質に関する研究者の認識にどのように影響するか？
• RQ2 引用は、著者側の論文に顕著な知的インパクトを与えるものと、微小または無視できる影響を与えるものとでは、どの程度の割合で異なるか？
• RQ3 引用回数の可視性が、研究の質やインパクトの評価にどのようにバイアスをもたらすか？
• RQ4 高引用回数の論文は、引用頻度が高いために、なぜかたちあわせに低いインパクトと認識されるのか？

主な発見

• アンケート中に実際の引用回数を提示した結果、上位10％を除くすべての引用された論文が、質が低いと認識された。これは、高引用論文の質を過大評価するバイアスが存在することを示している。
• 全引用の54％が、著者側にゼロまたは微小な影響を与えており、これは大多数の引用が著者側の知的コンテンツに顕著な貢献をしていないことを示している。
• 高引用論文への引用は、引用回数が少ない論文への引用よりも、顕著な知的インパクトを示す可能性が約200％高い。
• 引用回数は、可視性が高くなることでさらなる引用を引き起こす内生的引用ダイナミクスのため、上位引用論文の質を系統的に過大評価する。
• 引用回数をインパクトと同一視することは、多くの引用が知的に重要でないため、高引用論文の真の影響を低く評価してしまう。
• 本研究は、引用指標が質およびインパクトの代替指標として不適切であり、引用頻度に応じて逆方向にバイアスが働くことを示している。