[논문 리뷰] A two-sided academic landscape: portrait of highly-cited documents in Google Scholar (1950-2013)

Alberto Martín‐Martín, Enrique Orduña‐Malea외 2명|arXiv (Cornell University)|2016. 07. 11.

scientometrics and bibliometrics research참고 문헌 46인용 수 3

한 줄 요약

이 연구는 1950~2013년도 동안 구글 색인에서 가장 많이 인용된 문서 1,000건을 연도별로 분석하여 그 유형, 언어, 가용성 및 버전을 규명한다. 분석 결과, 높은 인용 수를 기록한 논문은 주로 영어로 작성된 학술지 논문과 책이며, 온라인 PDF로 강력하게 가용해 있으며, 전통적인 데이터베이스보다 구글 색인의 비학술 자료 커버리지가 넓어 더 광범위한 학술적 그림을 제공한다.

ABSTRACT

The main objective of this paper is to identify the set of highly-cited documents in Google Scholar and to define their core characteristics (document types, language, free availability, source providers, and number of versions), under the hypothesis that the wide coverage of this search engine may provide a different portrait about this document set respect to that offered by the traditional bibliographic databases. To do this, a query per year was carried out from 1950 to 2013 identifying the top 1,000 documents retrieved from Google Scholar and obtaining a final sample of 64,000 documents, of which 40% provided a free full-text link. The results obtained show that the average highly-cited document is a journal article or a book (62% of the top 1% most cited documents of the sample), written in English (92.5% of all documents) and available online in PDF format (86.0% of all documents). Yet, the existence of errors especially when detecting duplicates and linking cites properly must be pointed out. The fact of managing with highly cited papers, however, minimizes the effects of these limitations. Given the high presence of books, and to a lesser extend of other document types (such as proceedings or reports), the research concludes that Google Scholar data offer an original and different vision of the most influential academic documents (measured from the perspective of their citation count), a set composed not only by strictly scientific material (journal articles) but academic in its broad sense

연구 동기 및 목표

• 64년에 걸친 기간 동안 구글 색인 내 높이 인용된 문서의 집합을 특정하고 특성화하기 위해.
• 전통적인 참고문헌 데이터베이스에서 발견된 높이 인용된 문서의 구성과 구글 색인 내 높이 인용된 문서의 구성 간 비교를 위해.
• 책, 컨퍼런스 프로ceedings, 보고서와 같은 비학술지 유형의 문서가 학술적 영향력에 미치는 역할을 평가하기 위해.
• 특히 무료 PDF 버전의 가용성과 접근성, 특히 구글 색인 내 전체 텍스트 버전의 가용성과 접근성 수준을 평가하기 위해.
• 중복 검출 및 인용 연결 오류와 같은 색인 제약 조건이 높이 인용된 문서 분석에 미치는 영향을 평가하기 위해.

제안 방법

• 1950년에서 2013년까지 매년 구글 색인에서 가장 많이 인용된 문서 상위 1,000건을 검색하기 위해 연도별 쿼리를 수행하였다.
• 중복 제거 및 품질 필터링을 거친 후 최종 데이터셋은 64,000건의 고유 문서로 구성되었다.
• 문서 특성은 유형(예: 학술지 논문, 책, 컨퍼런스 논문), 언어, 무료 전자전체문 링크 가용성, 출처 제공자, 버전 수 등으로 추출되었다.
• 표본 내 문서 유형 분포, 언어 확산, 디지털 가용성 등을 평가하기 위해 통계 분석을 적용하였다.
• 구글 색인의 인용 색인 신뢰성을 평가하기 위해 중복 검출 및 인용 연결 정확도를 점검하였다.
• 연구 결과를 전통적인 참고문헌 데이터베이스와 비교하여 높이 인용된 문서의 표현 방식에서의 차이점을 부각시켰다.

실험 결과

연구 질문

• RQ1 구글 색인 내 높이 인용된 문서 집합에서 어떤 유형의 문서가 전통적인 데이터베이스와 비교해 지배적인가?
• RQ2 구글 색인 내 가장 많이 인용된 문서의 언어 및 형식 분포(예: 영어, PDF)는 어떠한가?
• RQ3 높이 인용된 문서들 중 무료 전자전체문 버전이 얼마나 널리 보급되어 있는가?
• RQ4 책과 보고서와 같은 비학술지 문서들이 인용 수로 측정된 학술적 영향력에 얼마나 기여하는가?
• RQ5 구글 색인 내 색인 오류(예: 중복 검출, 인용 연결 오류)가 높이 인용된 문서 식별의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 표본 내 상위 1% 인용 문서 중 62%가 학술지 논문 또는 책이었으며, 이는 학술적 영향력에서의 지배적 위치를 시사한다.
• 모든 높이 인용된 문서 중 92.5%가 영어로 발행되어 고영향력 학술 연구에서 언어적 지배력이 두드러진다.
• 86.0%의 문서가 PDF 형식으로 제공되어 구글 색인을 통한 디지털 접근성의 강도를 반영한다.
• 표본 내 64,000건의 문서 중 40%가 무료 전자전체문 링크를 제공하여 상당한 수준의 오픈 액세스 가용성을 보여준다.
• 책과 기타 비학술지 문서 유형(예: 컨퍼런스 프로ceedings, 기술 보고서)은 전통적 인용 데이터베이스에 비해 상당히 과대표시되어 있다.
• 중복 검출 및 인용 연결 오류와 같은 색인 오류가 존재하나, 높은 인용 수가 이러한 제약 조건의 영향을 상쇄하여 전체 연구 결과에 미치는 영향은 제한적이다.