[논문 리뷰] 2016 Google Scholar Metrics released: a matter of languages... and something else

Alberto Martín‐Martín, Juan Manuel Ayllón외 2명|arXiv (Cornell University)|2016. 01. 01.

Linguistics, Language Diversity, and Identity참고 문헌 5인용 수 3

한 줄 요약

이 논문은 2016년 구글 색소르 메트릭스 출시를 비판적으로 평가하며, 일관되지 않은 저널 인덱싱, 다국어 저널에 대한 중복 항목, CEPR 및 IZA와 같은 워킹 페퍼 시리즈의 제거와 같은 지속적인 한계를 밝혀낸다. 또한 러시아어, 한국어, 폴란드어, 우크라이나어, 인도네시아어 등 다섯 가지 신규 언어 순위가 추가되었고, 이탈리아어 및 네덜란드어는 제외되었음을 강조하면서, 학술 평가를 위한 투명성, 정확성, 사용성 향상을 위해 체계적 개선이 필요하다고 주장한다.

ABSTRACT

The 2016 edition of Google Scholar Metrics was released on July 15th 2016. There haven't been any structural changes respect to previous versions, which means that most of its limitations still persist. The biggest changes are the addition of five new language rankings (Russian, Korean, Polish, Ukrainian, and Indonesian) and elimination of two other language rankings (Italian and Dutch). In addition, for reasons still unknown, this new edition doesn't include as many working paper and discussion paper series as previous editions.

연구 동기 및 목표

• 2016년 구글 색소르 메트릭스 출시의 체계적이고 방법론적으로 일관된지 평가하기.
• 저널 인덱싱, 인용 데이터, 분류에 대한 지속적인 한계를 식별하고 문서화하기.
• 언어별 순위의 영향과 일부 언어 카테고리(예: 이탈리아어, 네덜란드어)의 제거 영향 분석하기.
• 주요 워킹 페퍼 시리즈(예: CEPR, IZA)가 순위에서 사라진 원인 조사하기.
• 학술 평가 도구로서의 신뢰성, 투명성, 사용성을 향상시키기 위한 구체적 개선 방안 제안하기.

제안 방법

• 2015년 버전과의 시각적 및 텍스트적 분석을 통한 2016년 구글 색소르 메트릭스의 체계적 비교: 탐색, 순위, 검색 결과 분석.
• 다국어 간행물(예: Revista Española de Cardiología)에 대한 중복 저널 항목 식별 및 문서화.
• 인용 데이터의 일관성 문제 분석: 잘못된 링크, 무효 링크, 동일 저널에 대한 다중 출처 참조.
• 인덱싱 기준 평가: 100편 이상의 기사 기준 요구사항과 비영어 및 지역 저널에 미치는 영향 분석.
• 검색 기능 평가: 키워드 기반 검색 및 결과 제한(예: 언어당 100건, 키워드당 20건) 분석.
• 문헌정보학 최선의 실천 기반 15가지 개선 제안 제시: 데이터 투명성, 내보내기 기능, 오류 보고 기능 등.

실험 결과

연구 질문

• RQ1 2016년 구글 색소르 메트릭스 출시에서 이전 버전과 비교해 어떤 변화가 있었는가?
• RQ2 CEPR 및 IZA 워킹 페퍼 시리즈는 강력한 인용 기록을 보였음에도 불구하고 2016년 순위에서 왜 제거되었는가?
• RQ3 중복 항목이나 언어별 저널 분할과 같은 인덱싱 오류가 구글 색소르 메트릭스의 신뢰성에 어떤 영향을 미치는가?
• RQ4 이탈리아어, 네덜란드어 등 일부 언어 순위가 제외되고, 한국어, 러시아어 등 다른 언어 순위가 추가된 것은 어떤 의미가 있는가?
• RQ5 학술 평가 도구로서의 구글 색소르 메트릭스의 투명성과 정확성을 향상시키기 위해 어떤 체계적이고 방법론적인 개선이 필요한가?

주요 결과

• 2016년 구글 색소르 메트릭스 출시에서 러시아어, 한국어, 폴란드어, 우크라이나어, 인도네시아어 등 다섯 가지 신규 언어 순위가 추가되었지만, 이탈리아어 및 네덜란드어는 제외되었으며, 명확한 근거가 제시되지 않았다.
• CEPR Discussion Papers(하이퍼인덱스: 112) 및 IZA Discussion Papers(하이퍼인덱스: 82)와 같은 주요 워킹 페퍼 시리즈가 이전 버전에서 강력한 인용 성과를 보였음에도 불구하고 2016년 순위에서 더 이상 목록에 포함되지 않았다.
• 지속적인 인덱싱 오류가 발견되었으며, 동일 저널에 대해 중복 항목(예: Brazilian Journal of Anesthesiology에 세 개의 항목)이 존재하고, 다국어 저널에 대한 처리가 일관되지 않았다.
• Revista Española de Cardiología는 언어별로 통합되었지만, 다른 다국어 저널(예: Revista Portuguesa de Neumologia)은 올바르게 분리되지 않아 데이터 오염을 유발했다.
• 기사 링크가 자주 잘못되었거나 관련 없는 출판물로 연결되었으며, 일부 저널은 자료 수집 소스가 상이하여 여러 제목 변형을 보였다.
• 포함 기준, 기간 선택, 분류 규칙에 대한 투명성이 부족하며, 사용자가 모든 인용 또는 비인용 기사 보기, 데이터 내보내기, 오류 보고 기능을 제공하지 않는다.