[논문 리뷰] On Good and Bad Intentions behind Anomalous Citation Patterns among Journals in Computer Sciences

Joyita Chakraborty, Dinesh K. Pradhan외 3명|arXiv (Cornell University)|2018. 07. 27.

Complex Network Analysis Techniques인용 수 3

한 줄 요약

이 논문은 1990년에서 2012년 사이에 2,500개 이상의 컴퓨터 과학 저널을 대상으로 가중 방향 그래프 모델을 사용하여 상호 인용, 인용 체인, 삼각형, 카르텔과 같은 이례적인 인용 패턴을 조사한다. 이는 이러한 패턴의 배경이 '좋음'(합법적)인지 '나쁨'(조작적)인지를 구분하며, 갑작스러운 영향력 지수 상승과 인용 급증이 종종 인용 쌓기나 자기 인용 고리와 같은 비윤리적 관행과 관련되어 있음을 드러내어 현재의 문헌지표 신뢰성에 도전한다.

ABSTRACT

Scientific journals are an important choice of publication venue for most authors. Publishing in prestigious journal plays a decisive role for authors in hiring and promotions. In last decade, citation pressure has become intact for all scientific entities more than ever before. Unethical publication practices has started to manipulate widely used performance metric such as "impact factor" for journals and citation based indices for authors. This threatens the integrity of scientific quality and takes away deserved credit of legitimate authors and their authentic publications. In this paper we extract all possible anomalous citation patterns between journals from a Computer Science bibliographic dataset which contains more than 2,500 journals. Apart from excessive self-citations, we mostly focus on finding several patterns between two or more journals such as bi-directional mutual citations, chains, triangles, mesh, cartel relationships. On a macroscopic scale, the motivation is to understand the nature of these patterns by modeling how journals mutually interact through citations. On microscopic level, we differentiate between possible intentions (good or bad) behind such patterns. We see whether such patterns prevail for long period or during any specific time duration. For abnormal citation behavior, we study the nature of sudden inflation in impact factor of journals on a time basis which may occur due to addition of irrelevant and superfluous citations in such closed pattern interaction. We also study possible influences such as abrupt increase in paper count due to the presence of self-referential papers or duplicate manuscripts, author self-citation, author co-authorship network, author-editor network, publication houses etc. The entire study is done to question the reliability of existing bibliometrics, and hence, it is an urgent need to curtail their usage or redefine them.

연구 동기 및 목표

• 컴퓨터 과학 저널에서 상호 인용, 인용 체인, 삼각형, 메시, 카르텔과 같은 이례적인 인용 패턴을 식별하고 분류하는 것.
• 이러한 인용 패턴의 배경이 합법적('좋음')인지 조작적('나쁨')인지 구분하는 것.
• 이러한 패턴이 시간에 따라 특정 기간에 국한되어 있는지 장기적으로 지속되는지 조사하는 것.
• 이러한 인용 이면의 영향력 지수와 논문 수에 미치는 영향, 특히 불필요한 인용으로 인한 급격한 상승을 분석하는 것.
• 기존의 문헌지표(예: 영향력 지수)의 신뢰성에 의문을 제기하고 이를 재정의하거나 제한적으로 사용할 것을 주장하는 것.

제안 방법

• 2,500개 이상의 CS 저널과 490,249篇의 논문(1990–2012)을 포함한 마이크로소프트 애카데믹 서치 데이터셋에서 가중 방향 그래프를 구축하였다.
• 그래프 기반 분석을 통해 이례적인 패턴을 식별: 상호 인용, 인용 체인, 삼각형, 메시, 자기 루프, 인용 카르텔.
• 영향력 지수 상승과 인용 급증의 시간적 동태를 추적하여 급격한 이면을 탐지하였다.
• 자기 인용, 중복된 논문, 공동저자 네트워크, 저자-편집자 네트워크, 출판사 영향력 등의 기여 요인을 분석하였다.
• 폐쇄형 인용 행동을 탐지하기 위해 인용 네트워크 구조를 활용하여 인용 카르텔이나 쌓기의 징후를 식별하였다.
• 망 수준의 거시적 분석과 의도 기반의 미시적 분석을 병행하여 인용 패턴의 합법성을 평가하였다.

실험 결과

연구 질문

• RQ1 인용 그래프의 네트워크 수준 분석을 통해 합법적과 조작적 인용 패턴을 식별할 수 있는가?
• RQ2 인용 카르텔이나 상호 인용 고리와 같은 이례적인 인용 패턴은 시간에 따라 지속되는가, 특정 기간에 국한되는가?
• RQ3 영향력 지수 급상승이 불필요하거나 자기 참조적 인용과 어느 정도 관련이 있는가?
• RQ4 자기 인용, 공동저자 네트워크, 출판사 영향력 등의 요소가 인용 이면에 기여하는 정도는 어느 정도인가?
• RQ5 이러한 조작적 행동이 존재하는 상황에서 기존의 문헌지표(예: 영향력 지수)는 어느 정도까지 신뢰할 수 있는가?

주요 결과

• 1990년에서 2012년 사이에 논문 발표 수가 60% 증가하고 인용 수가 74% 증가하여 인용 조작 위험이 증가하였다.
• 특히 영향력 지수 급상승이 발생한 저널에서 인용 카르텔, 상호 인용, 인용 체인과 같은 이례적인 패턴이 널리 퍼져 있었다.
• 영향력 지수 급상승은 소수의 저널 간에 과도한 한 방향 또는 상호 인용이 존재할 경우에 강하게 상관관계를 보였다.
• 자기 인용과 자기 참조 논문은 특히 외부 인용 다양성이 낮은 저널에서 인용 수와 논문 수의 과도한 상승에 중요한 기여를 하였다.
• 공동저자 네트워크와 저자-편집자 네트워크는 조율된 인용 행동을 촉진하여 기관적 또는 협력적 부정행위의 가능성을 시사하였다.
• 본 연구는 현재의 문헌지표(예: 영향력 지수)가 조작에 취약하며 이러한 지표의 급격한 재평가 또는 재설계가 시급하다고 결론 내렸다.