[논문 리뷰] Sneaked references: Cooked reference metadata inflate citation counts

Lonni Besançon, Guillaume Cabanac외 2명|arXiv (Cornell University)|2023. 10. 03.

Semantic Web and Ontologies참고 문헌 26인용 수 6

한 줄 요약

이 논문은 출판사가 DOI 메타데이터 등록 중에 게재된 논문을 수정하지 않은 채 가짜 참고문헌을 삽입함으로써 인용 수를 과도하게 늘리는 이전에 기록되지 않은 방법—'도용된 참고문헌'(sneaked references)—을 드러낸다. 연구는 세 간행물의 참고문헌 중 최소 9% (5,978/65,836)가 도용된 것으로 밝혀졌으며, 주로 두 명의 저자에게 유리하게 작용했고, 참고문헌의 56%는 계량적 평가 플랫폼에서 '사라진' 것으로 나타났다. 이는 메타데이터의 무결성과 인용 지표에 대한 체계적인 결함을 드러낸다.

ABSTRACT

We report evidence of an undocumented method to manipulate citation counts involving 'sneaked' references. Sneaked references are registered as metadata for scientific articles in which they do not appear. This manipulation exploits trusted relationships between various actors: publishers, the Crossref metadata registration agency, digital libraries, and bibliometric platforms. By collecting metadata from various sources, we show that extra undue references are actually sneaked in at Digital Object Identifier (DOI) registration time, resulting in artificially inflated citation counts. As a case study, focusing on three journals from a given publisher, we identified at least 9% sneaked references (5,978/65,836) mainly benefiting two authors. Despite not existing in the articles, these sneaked references exist in metadata registries and inappropriately propagate to bibliometric dashboards. Furthermore, we discovered 'lost' references: the studied bibliometric platform failed to index at least 56% (36,939/65,836) of the references listed in the HTML version of the publications. The extent of the sneaked and lost references in the global literature remains unknown and requires further investigations. Bibliometric platforms producing citation counts should identify, quantify, and correct these flaws to provide accurate data to their patrons and prevent further citation gaming.

연구 동기 및 목표

• 게재된 논문에 존재하지 않지만 메타데이터에 삽입된 '도용된 참고문헌'의 존재와 영향을 조사하는 것.
• DOI 등록 과정에서 메타데이터 수준의 조작으로 인해 인용 수가 얼마나 과도하게 증가하는지 평가하는 것.
• 메타데이터, HTML 버전, 인용 수를 비교하여 계량적 평가 플랫폼이 참조문헌을 정확히 반영하는지 신뢰성 여부를 검토하는 것.
• 메타데이터 오용을 통한 인용 게이밍에 노출된 학술 커뮤니케이션 파이프라인의 취약성을 부각하는 것.
• 출판사, Crossref, 계량적 평가 플랫폼 간의 데이터 검증 및 책임성 향상을 촉구하는 것.

제안 방법

• 게재된 논문의 HTML 버전, Crossref에 등록된 DOI 메타데이터, 계량적 평가 플랫폼(예: Dimensions)의 인용 수에서 참조문헌 목록을 수집하고 비교하는 것.
• 세 출처의 참조문헌 목록을 비교 분석하여 이질성을 탐지하고, '도용된' 참조문헌(메타데이터에는 존재하지만 논문에는 없음)과 '사라진' 참조문헌(논문에는 존재하지만 메타데이터 또는 인용 플랫폼에 누락됨)을 식별하는 것.
• 연구된 간행물에서 도용되거나 사라진 참조문헌의 수의 하한을 통계적 추정을 통해 계산하는 것.
• Crossref 및 계량적 평가 플랫폼의 공개 API를 활용하여 대규모로 메타데이터 및 인용 데이터를 추출하고 교차 검증하는 것.
• 재현 가능한 데이터 수집 및 분석 코드를 제작하여 Zenodo에 공개하여 투명성과 향후 연구를 위한 기반을 마련하는 것.
• 플랫폼 간 인용 수 일관성을 평가하여 메타데이터 이질성과 관련된 이상 징후를 탐지하는 것.

실험 결과

연구 질문

• RQ1 게재된 논문에 나타나지 않지만 메타데이터에 삽입된 參考문헌(즉, '도용된 참고문헌')은 어느 정도의 비율로 존재하는가?
• RQ2 계량적 평가 파이프라인에서 얼마나 많은 參考문헌이 사라졌는가? 즉, 논문에는 존재하지만 메타데이터 또는 인용 플랫폼에는 누락된 경우.
• RQ3 도용된 및 사라진 參考문헌이 주요 계량적 평가 플랫폼의 인용 수에 미치는 정량적 영향은 무엇인가?
• RQ4 학술 커뮤니케이션 생태계에서 메타데이터 수준의 인용 조작을 가장 잘 악용할 가능성이 있는 주체는 누구인가?
• RQ5 출판사, 메타데이터 레지스트리, 계량적 평가 플랫폼 간의 상호 검증을 통해 인용 지표의 무결성을 어떻게 향상시킬 수 있는가?

주요 결과

• 세 간행물의 參考문헌 중 최소 9% (65,836건 중 5,978건)가 '도용된' 것으로 확인되었으며, 이는 메타데이터에 등록되어 있었지만 게재된 HTML 또는 PDF 버전에 존재하지 않았음을 의미한다.
• 연구는 계량적 평가 플랫폼을 사용한 분석에서, 게재된 논문의 HTML 버전에 기재된 參考문헌 중 56% (65,836건 중 36,939건)가 인덱싱되지 않았음을 발견하여, 상당수의 '사라진' 參考문헌이 존재함을 시사한다.
• 일부 저자의 인용 수는 도용된 參考문헌의 존재로 인해 인위적으로 과도하게 증가했으며, 두 명의 저자가 이 조작으로서 특히 유리하게 작용했다.
• Crossref의 메타데이터 등록 절차는 게재된 논문의 실제 내용과 메타데이터의 參考문헌이 일치하는지 검증하지 않기 때문에 조작에 취약하다.
• 계량적 평가 플랫폼은 이러한 오류를 확산시켜 연구 평가, 자금 지원 결정, 기관 순위에 영향을 주는 정확하지 않은 인용 지표를 만들어내고 있다.
• 이 연구는 게시된 버전을 수정하지 않더라도 인용 조작이 가능하다는 점을 입증하며, 학술 출판 분야에서 이전에 기록되지 않은 새로운 공격 벡터를 제시한다.