[論文レビュー] On Good and Bad Intentions behind Anomalous Citation Patterns among Journals in Computer Sciences

Joyita Chakraborty, Dinesh K. Pradhan+3 more|arXiv (Cornell University)|Jul 27, 2018

Complex Network Analysis Techniques被引用数 3

ひとこと要約

本稿は、1990年から2012年までの2,500種類以上のコンピュータサイエンス関連ジャーナルを対象に、重み付き有向グラフモデルを用いて、相互引用、引用チェーン、三角形、カルテルなど、異常な引用パターンを調査している。これらのパターンの背後にある意図を「良い」（正当な）ものと「悪い」（操作的な）ものに区別し、突然のインパクトファクターの上昇や引用の急増が、引用スタッキングや自己引用リングといった不正な手法と関連していることが明らかになった。これにより、現在の文献計測指標の信頼性が揺るがされる。

ABSTRACT

Scientific journals are an important choice of publication venue for most authors. Publishing in prestigious journal plays a decisive role for authors in hiring and promotions. In last decade, citation pressure has become intact for all scientific entities more than ever before. Unethical publication practices has started to manipulate widely used performance metric such as "impact factor" for journals and citation based indices for authors. This threatens the integrity of scientific quality and takes away deserved credit of legitimate authors and their authentic publications. In this paper we extract all possible anomalous citation patterns between journals from a Computer Science bibliographic dataset which contains more than 2,500 journals. Apart from excessive self-citations, we mostly focus on finding several patterns between two or more journals such as bi-directional mutual citations, chains, triangles, mesh, cartel relationships. On a macroscopic scale, the motivation is to understand the nature of these patterns by modeling how journals mutually interact through citations. On microscopic level, we differentiate between possible intentions (good or bad) behind such patterns. We see whether such patterns prevail for long period or during any specific time duration. For abnormal citation behavior, we study the nature of sudden inflation in impact factor of journals on a time basis which may occur due to addition of irrelevant and superfluous citations in such closed pattern interaction. We also study possible influences such as abrupt increase in paper count due to the presence of self-referential papers or duplicate manuscripts, author self-citation, author co-authorship network, author-editor network, publication houses etc. The entire study is done to question the reliability of existing bibliometrics, and hence, it is an urgent need to curtail their usage or redefine them.

研究の動機と目的

• コンピュータサイエンス関連ジャーナルにおける、相互引用、引用チェーン、三角形、メッシュ、カルテルといった異常な引用パターンを特定・分類すること。
• これらの引用パターンの背後にある正当な（良い）意図と操作的な（悪い）意図を区別すること。
• これらのパターンが時間的特徴を示すのか、それとも長期間にわたり持続的であるのかを調査すること。
• 引用の異常がインパクトファクターと論文数に与える影響、特に不要な引用に起因する急激な上昇を分析すること。
• 現在の文献計測指標（インパクトファクターなど）の信頼性に疑問を呈し、それらの再定義または使用制限を提唱すること。

提案手法

• Microsoft Academic Search データセットを用いて、2,500種類以上のコンピュータサイエンス関連ジャーナルと490,249編の論文（1990年～2012年）から重み付き有向グラフを構築した。
• グラフベースの分析を用いて異常パターンを同定：相互引用、引用チェーン、三角形、メッシュ、自己ループ、引用カルテル。
• インパクトファクターの上昇や引用の急増の時間的ダイナミクスを追跡し、突然の異常を検出する。
• 自己引用、重複論文、共同著者ネットワーク、著者・編集者ネットワーク、出版者による影響などの要因を分析した。
• 引用ネットワークのトポロジーを用いて、引用カルテルやスタッキングを示す閉ループの引用行動を検出する。
• マクロスコピック（ネットワークレベル）およびマイクロスコピック（意図に基づく）分析を組み合わせ、引用パターンの正当性を評価した。

実験結果

リサーチクエスチョン

• RQ1 引用グラフのネットワークレベル分析を用いて、正当な引用パターンと操作的な引用パターンを区別できるか？
• RQ2 引用カルテルや相互引用リングのような異常な引用パターンは、時間的に持続的であるのか、それとも特定の期間に限定されるのか？
• RQ3 インパクトファクターの急激な上昇は、どれほど不要な引用や自己参照的引用と相関しているか？
• RQ4 著者の自己引用、共同著者ネットワーク、出版者による影響といった要因が、引用の異常をどのように促進しているか？
• RQ5 このような操作的行動が存在する中で、現在の文献計測指標（インパクトファクターなど）はどれほど信頼できるのか？

主な発見

• 1990年から2012年にかけて、論文発表数が60％増加し、引用数も74％上昇した。これにより、引用操作のリスクが顕著に高まった。
• 特にインパクトファクターや急激な上昇を示すジャーナルにおいて、引用カルテル、相互引用、引用チェーンといった異常パターンが広く見られた。
• インパクトファクターの急激な上昇は、少数のジャーナル間で過剰な一方通行または相互引用が存在するのと強く相関していた。
• 自己引用や自己参照的論文は、論文数の膨張と引用の急増の主な要因であり、外部からの引用多様性が低いジャーナルにおいて特に顕著だった。
• 著者間の共同著者ネットワークや著者・編集者ネットワークが、一括された引用行動を促進しており、機関的または共同的な共謀の兆候を示した。
• 本研究は、現在の文献計測指標（インパクトファクターや類似指標）が操作に対して脆弱であると結論づけ、こうした指標の即時の再評価または再設計を要請した。