[논문 리뷰] Manipulating Google Scholar Citations and Google Scholar Metrics: simple, easy and tempting

Emilio Delgado López‐Cózar, Nicolás Robinson‐García외 1명|arXiv (Cornell University)|2012. 12. 04.

scientometrics and bibliometrics research참고 문헌 14인용 수 72

한 줄 요약

이 논문은 가짜 저자 프로필을 통해 위조된 인용을 생성함으로써 Google Scholar Citations 및 Metrics가 얼마나 쉽게 조작될 수 있는지 보여준다. 연구팀의 논문을 인용하는 6개의 위조 문서를 업로드함으로써 저자들은 인용 수를 774건 증가시키고 H-지수를 상승시켰으며, 이는 시스템의 무결성과 검증 메커니즘의 부재라는 심각한 취약성을 드러낸다.

ABSTRACT

The launch of Google Scholar Citations and Google Scholar Metrics may provoke a revolution in the research evaluation field as it places within every researchers reach tools that allow bibliometric measuring. In order to alert the research community over how easily one can manipulate the data and bibliometric indicators offered by Google s products we present an experiment in which we manipulate the Google Citations profiles of a research group through the creation of false documents that cite their documents, and consequently, the journals in which they have published modifying their H index. For this purpose we created six documents authored by a faked author and we uploaded them to a researcher s personal website under the University of Granadas domain. The result of the experiment meant an increase of 774 citations in 129 papers (six citations per paper) increasing the authors and journals H index. We analyse the malicious effect this type of practices can cause to Google Scholar Citations and Google Scholar Metrics. Finally, we conclude with several deliberations over the effects these malpractices may have and the lack of control tools these tools offer

연구 동기 및 목표

• 연구 공동체가 Google Scholar Citations 및 Metrics를 얼마나 쉽게 조작할 수 있는지 폭 드러내기 위해.
• 위조된 인용을 통해 H-지수와 같은 밀도 평가 지표가 얼마나 쉽게 인위적으로 부풀려질 수 있는지 조사하기 위해.
• Google Scholar의 인용 색인 시스템에 검증 메커니즘이 부재함을 입증하기 위해.
• 학술 평가에 밀도 평가 도구가 오용될 수 있는 잠재적 위험에 대한 인식을 제고하기 위해.

제안 방법

• 실제 연구팀의 논문을 인용하는 6개의 위조 문서를 포함한 가짜 저자 프로필을 생성하기 위해.
• 학술적 콘텐츠처럼 보이도록 위조 문서를 대학 소속 개인 웹사이트에 게시하기 위해.
• 가짜 인용에 신뢰성을 부여하기 위해 그라나다 대학교 도메인을 사용하기 위해.
• 가짜 인용이 어떻게 Google Scholar에 인덱싱되고 카운트되는지 관찰하기 위해 Google Scholar의 색인 프로세스를 모니터링하기 위해.
• 대상 저자 및 저널의 인용 수와 H-지수 값의 변화를 측정하기 위해.
• 이러한 조작이 밀도 평가 지표의 신뢰성에 미치는 영향을 분석하기 위해.

실험 결과

연구 질문

• RQ1 가짜 인용 문서를 생성함으로써 Google Scholar Citations는 얼마나 쉽게 조작될 수 있는가?
• RQ2 위조된 인용은 Google Scholar에서 연구자와 저널의 H-지수를 얼마나 효과적으로 증가시킬 수 있는가?
• RQ3 이러한 조작을 가능하게 하는 Google Scholar의 검증 및 색인 프로세스의 체계적 약점은 무엇인가?
• RQ4 통제되지 않은 인용 조작이 학술 평가 관행에 미치는 광범위한 영향은 무엇인가?
• RQ5 현재의 밀도 평가 도구가 이러한 위조 활동에 대해 충분한 보안 조치를 취하지 못하는 이유는 무엇인가?

주요 결과

• 6개의 위조 문서를 통해 129편의 논문 총 인용 수가 774건 증가하는 데 성공했다.
• 대상 연구자와 그 소속 저널의 H-지수가 조작된 인용의 직접적인 결과로 증가했다.
• Google Scholar는 검증 또는 검증 절차 없이 가짜 인용을 색인하고 카운트했다.
• 기술적 전문 지식이나 기관 접근 권한이 필요 없이 간단하고 저비용의 방법으로 조작이 가능했다.
• 연구는 Google Scholar 시스템이 인용 사기 탐지 또는 방지에 대한 통제 메커니즘이 근본적으로 부족함을 드러냈다.
• 결과는 Google Scholar 지표에 의존해 채용,晋陞 또는 자금 지원과 같은 고위험 학술 결정을 내리는 데 위험성이 있음을 강조한다.