[論文レビュー] Google Scholar is manipulatable

Hazem Ibrahim, Fengyuan Liu+2 more|arXiv (Cornell University)|Feb 7, 2024

Artificial Intelligence in Healthcare and Education被引用数 11

ひとこと要約

本研究は、引用購入と偽のプロフィールを通じて Google Scholar が操作可能であることを示し、引用数が購入できるだけでなく、評価的文脈で誤解を招く可能性を示す証拠を提供します。

ABSTRACT

Citations are widely considered in scientists' evaluation. As such, scientists may be incentivized to inflate their citation counts. While previous literature has examined self-citations and citation cartels, it remains unclear whether scientists can purchase citations. Here, we compile a dataset of ~1.6 million profiles on Google Scholar to examine instances of citation fraud on the platform. We survey faculty at highly-ranked universities, and confirm that Google Scholar is widely used when evaluating scientists. Intrigued by a citation-boosting service that we unravelled during our investigation, we contacted the service while undercover as a fictional author, and managed to purchase 50 citations. These findings provide conclusive evidence that citations can be bought in bulk, and highlight the need to look beyond citation counts.

研究の動機と目的

• 研究 recruitment や promotion の決定において、研究者がどれだけ引用指標に依存しているかを評価する。
• トップ大学の学者の間で Google Scholar の引用データ源としての重要性を定量化する。
• 疑わしい Google Scholar プロファイルのパターンと潜在的な操作手法を特定する。
• 引用の購入が実現可能であることと、それが測定指標に与える影響を示す。
• 潜在的に疑わしい引用活動をフラグする指標（c2-index）を提案する。

提案手法

• 引用データの出典を特定するために、上位10大学の教員を調査する。
• 1.6百万人を超える Google Scholar プロフィールのデータセットを整理し、 irregular な引用パターンを分析する。
• 架空の著者に対して 50 の引用を購入する undercover 実験を実施し、実現可能性を示す。
• 架空の Google Scholar プロファイルを作成し、AI生成記事をアップロードしてモデレーションとインデックス登録を検証する。
• 第三者サービスを介して引用を購入し、.bulk 操作の証拠となる引用論文を分析する。
• c2-index（citation concentration index）を導入し、強く集中した大量引用をフラグする。

Figure 1: Survey responses from faculty of the top-10 ranked universities around the world. A , The percentage of faculty who consider citations when evaluating candidates (blue) and those who do not (red). B , Solid bars indicate, out of those who self-report considering citations when evaluating c

実験結果

リサーチクエスチョン

• RQ1 候補者を評価する際に、教員が Google Scholar を引用指標の主要な情報源として使用している prevalenc e はどの程度か？
• RQ2 Google Scholar のプロファイルは引用購入や他の手段で操作され得るか？
• RQ3 どの程度引用を購入でき、そのような購入が論文間の引用パターンにどのように現れるか？
• RQ4 簡易指標（c2-index）は Google Scholar での疑わしい引用行動を識別するのに役立つか？
• RQ5 人工的に生成されたコンテンツに直面した場合、Google Scholar の moderat ion と indexing の脆弱性は何か？

主な発見

• Google Scholar は評価者の間で最も人気の引用指標の情報源であり、引用を考慮する回答者の60%以上が利用している。
• 概念実証として、架空の著者に対して数週間で50の引用を購入できることを示し、大量引用操作が実現可能であることを示した。
• 疑わしいプロフィールは、突然のピーク年における引用の急増、少数の論文からの高濃度の引用、プレプリントなどの非伝統的な情報源の多用を特徴とする。
• Scopus と比較して、疑わしい著者の引用件数は大幅に減少する（平均 96% 対 43%）、データベース間の不整合を示唆。
• c2-index は多数の論文からの異常に高い引用集中を検出し、調整後の c2-index は潜在的な操作リスクを浮き彫りにする。
• 引用は元の論文が削除された後も Google Scholar に残存する可能性があり、 robust なモデレーションなしにはインデックスされうることを示唆。

Figure 2: A comparative analysis of suspicious authors and their matches. In each plot, red lines and red dots denote suspicious authors, while blue ones denote their matches. A , For the 4 years leading up to an author’s peak citations, the annual number of citations relative to the peak. B , Discr