[論文レビュー] Manipulating Google Scholar Citations and Google Scholar Metrics: simple, easy and tempting

Emilio Delgado López‐Cózar, Nicolás Robinson‐García+1 more|arXiv (Cornell University)|Dec 4, 2012

scientometrics and bibliometrics research参考文献 14被引用数 72

ひとこと要約

この論文は、架空の著者プロフィールを作成することで偽の引用を生成することで、Google Scholarの引用情報と指標がいかに簡単に操作可能であるかを示している。6件の偽の文書をアップロードするだけで、研究グループの論文の引用数が774件増加し、H指数も上昇した。これは、システムの整合性に深刻な欠陥があり、検証メカニズムが欠如していることを暴露している。

ABSTRACT

The launch of Google Scholar Citations and Google Scholar Metrics may provoke a revolution in the research evaluation field as it places within every researchers reach tools that allow bibliometric measuring. In order to alert the research community over how easily one can manipulate the data and bibliometric indicators offered by Google s products we present an experiment in which we manipulate the Google Citations profiles of a research group through the creation of false documents that cite their documents, and consequently, the journals in which they have published modifying their H index. For this purpose we created six documents authored by a faked author and we uploaded them to a researcher s personal website under the University of Granadas domain. The result of the experiment meant an increase of 774 citations in 129 papers (six citations per paper) increasing the authors and journals H index. We analyse the malicious effect this type of practices can cause to Google Scholar Citations and Google Scholar Metrics. Finally, we conclude with several deliberations over the effects these malpractices may have and the lack of control tools these tools offer

研究の動機と目的

• 研究コミュニティがGoogle Scholarの引用情報と指標をどのように操作できるかを暴露すること。
• H指数のような計量的指標が、架空の引用によっていかに簡単に人為的に上昇させられるかを調査すること。
• Google Scholarの引用インデックスシステムに検証メカニズムが欠如していることを実証すること。
• 計量的ツールの誤用が学術的評価に与える影響についての認識を高めること。

提案手法

• 実在の研究グループの出版物を引用する6件の架空の文書を含む架空の著者プロフィールの作成。
• 大学関連の個人ウェブサイトに偽の文書をホスティングし、正当な学術的コンテンツを模倣すること。
• 架空の引用に信頼性を与えるためにグランアドゥラ大学のドメインを使用すること。
• 偽の引用がどのようにGoogle Scholarのインデックス処理に受け入れられ、カウントされたかを観察するためのモニタリング。
• 標的となった著者およびジャーナルの引用数とH指数の変化を測定すること。
• このような操作が計量的指標の信頼性に与える影響を分析すること。

実験結果

リサーチクエスチョン

• RQ1 偽の引用文書を作成することで、Google Scholarの引用情報はどの程度操作可能か？
• RQ2 架空の引用は、Google Scholarにおける研究者およびジャーナルのH指数をどの程度効果的に上昇させられるか？
• RQ3 このような操作を可能にするGoogle Scholarの検証およびインデックス処理におけるシステム的弱みは何か？
• RQ4 制御のない引用操作が学術的評価慣行に与える広範な影響は何か？
• RQ5 現在の計量的ツールが、このような不正行為に対して十分な防御策を備えていないのはなぜか？

主な発見

• 6件の架空の文書によって、129件の論文の合計引用数が774件増加した。
• 標的となった研究者およびその関連ジャーナルのH指数は、操作された引用のおかげで直接的に上昇した。
• Google Scholarは、検証や検証プロセスなしに偽の引用をインデックス化し、カウントした。
• 技術的スキルや機関アクセスを必要としない、簡単で低コストな方法で操作が達成された。
• 本研究は、Google Scholarのシステムに引用の不正を検出または防止するための制御メカニズムが著しく欠如していることを明らかにした。
• 結果は、採用、昇進、助成金獲得といった重要な学術的意思決定においてGoogle Scholarの指標に依存するリスクを浮き彫りにした。