[論文レビュー] Sneaked references: Cooked reference metadata inflate citation counts

Lonni Besançon, Guillaume Cabanac+2 more|arXiv (Cornell University)|Oct 3, 2023

Semantic Web and Ontologies参考文献 26被引用数 6

ひとこと要約

本論文は、出版者がDOIメタデータ登録時に発行された論文を変更せずに偽の参考文献を挿入するという、以前に記録のない引用操作手法—「スニーカー引用」—を明らかにした。この手法により、引用回数が著しく上昇するが、発行済みの論文自体は変更されない。本研究では、3つのジャーナルにおける参考文献の少なくとも9％（65,836件中5,978件）がスニーカー引用であると特定され、主に2人の著者がその恩恵を受けており、また、バイオメトリックプラットフォームでは56％の参考文献（65,836件中36,939件）が「失われている」ことが判明し、メタデータの整合性と引用指標のシステム的欠陥が露呈された。

ABSTRACT

We report evidence of an undocumented method to manipulate citation counts involving 'sneaked' references. Sneaked references are registered as metadata for scientific articles in which they do not appear. This manipulation exploits trusted relationships between various actors: publishers, the Crossref metadata registration agency, digital libraries, and bibliometric platforms. By collecting metadata from various sources, we show that extra undue references are actually sneaked in at Digital Object Identifier (DOI) registration time, resulting in artificially inflated citation counts. As a case study, focusing on three journals from a given publisher, we identified at least 9% sneaked references (5,978/65,836) mainly benefiting two authors. Despite not existing in the articles, these sneaked references exist in metadata registries and inappropriately propagate to bibliometric dashboards. Furthermore, we discovered 'lost' references: the studied bibliometric platform failed to index at least 56% (36,939/65,836) of the references listed in the HTML version of the publications. The extent of the sneaked and lost references in the global literature remains unknown and requires further investigations. Bibliometric platforms producing citation counts should identify, quantify, and correct these flaws to provide accurate data to their patrons and prevent further citation gaming.

研究の動機と目的

• 『スニーカー引用』—発行済み論文に存在しないがメタデータに挿入された参考文献の存在と影響を調査すること。
• DOI登録時のメタデータレベルでの操作が、引用回数をどれほど不正に上昇させているかを評価すること。
• メタデータ、HTML版、引用回数の比較を通じて、バイオメトリックプラットフォームが正確に引用文献を反映しているかを検証すること。
• メタデータ乱用による引用ゲームの可能性を、学術通信プロセスの脆弱性として浮き彫りにすること。
• 出版者、Crossref、バイオメトリックプラットフォームの間で、データ検証と責任の強化を提言すること。

提案手法

• 発行済み論文のHTML版、Crossrefに登録されたDOIメタデータ、およびバイオメトリックプラットフォーム（例：Dimensions）の引用回数の3つのソースから参考文献リストを収集・比較した。
• 3つのソース間の参考文献リストを比較分析し、論文に存在しないがメタデータに存在する『スニーカー引用』（スニーカー引用）と、論文には存在するがメタデータや引用プラットフォームに欠落している『失われた引用』（ロストリファレンス）を特定した。
• 統計的推定を用いて、研究対象ジャーナルにおけるスニーカー引用および失われた引用の下限を算出した。
• Crossrefおよびバイオメトリックプラットフォームの公開APIを活用し、大規模にメタデータおよび引用データを抽出・相互検証した。
• 再現可能なデータ収集および分析コードを整備し、透明性と今後の研究を目的としてZenodoに公開した。
• 引用回数のプラットフォーム間の一貫性を評価し、メタデータの不一致に起因する異常を特定した。

実験結果

リサーチクエスチョン

• RQ1 発行済み論文に存在しない参考文献がメタデータにどれほど不正に挿入されているか（すなわち、『スニーカー引用』の程度はどの程度か）？
• RQ2 どの程度の参考文献がバイオメトリックパイプラインで失われているか、すなわち、論文には存在するがメタデータや引用プラットフォームに欠落しているか？
• RQ3 スニーカー引用および失われた引用が、主要なバイオメトリックプラットフォームにおける引用回数に及ぼす定量的影響は何か？
• RQ4 学術通信エコシステムにおいて、メタデータレベルでの引用操作を最も悪用する可能性がある主体は誰か？
• RQ5 出版者、メタデータレジストリ、バイオメトリックプラットフォームの間で相互検証を強化することで、引用指標の整合性をどのように改善できるか？

主な発見

• 3つのジャーナルにおける参考文献の少なくとも9％（65,836件中5,978件）が『スニーカー引用』であると特定され、これらはメタデータに登録されていたが、発行済みのHTML版やPDF版には存在しなかった。
• 本研究では、発行済み論文のHTML版に記載された参考文献のうち56％（65,836件中36,939件）が、分析に用いたバイオメトリックプラットフォームにインデックス登録されていないことが判明し、顕著な『失われた引用』が存在することが示された。
• 一部の著者の引用回数がスニーカー引用の存在により不正に上昇しており、特に2人の著者が操作の恩恵を著しく受けていることが判明した。
• Crossrefにおけるメタデータ登録プロセスは、メタデータに記載された参考文献が実際に発行済み論文の内容と一致するかを検証しないため、操作の対象となりやすい。
• バイオメトリックプラットフォームはこれらの誤りを拡散しており、研究評価、助成金決定、機関ランク付けに影響を与える不正確な引用指標を生み出している。
• 本研究は、最終版の論文を変更せずに引用操作が可能であることを実証しており、学術出版における以前に記録のない新たな攻撃ベクトルを特定した。