[논문 리뷰] Empirical Evidences in Citation-Based Search Engines: Is Microsoft Academic Search dead?

Enrique Orduña‐Malea, Juan Manuel Ayllón외 2명|arXiv (Cornell University)|2014. 04. 28.

Web visibility and informetrics참고 문헌 9인용 수 24

한 줄 요약

이 논문은 인용 기반 검색 엔진 성능을 분석하여 마이크로소프트 애카데믹 서치(MAS)의 관련성 감소를 조사한다. 커버리지, 저널 순위 상관관계, 사용 지표 등의 실증 데이터를 사용한다. MAS의 색인 수가 2010년 230만 건에서 2014년 802건으로 감소한 것으로 나타나, 2013년 이후로는 실질적으로 기능을 멈춘 것으로 나타나, 학술 연구 및 문헌정보학적 활용에 더 이상 유용하지 않다.

ABSTRACT

The goal of this working paper is to summarize the main empirical evidences provided by the scientific community as regards the comparison between the two main citation based academic search engines: Google Scholar and Microsoft Academic Search, paying special attention to the following issues: coverage, correlations between journal rankings, and usage of these academic search engines. Additionally, selfelaborated data is offered, which are intended to provide current evidence about the popularity of these tools on the Web, by measuring the number of rich files PDF, PPT and DOC in which these tools are mentioned, the amount of external links that both products receive, and the search queries frequency from Google Trends. The poor results obtained by MAS led us to an unexpected and unnoticed discovery: Microsoft Academic Search is outdated since 2013. Therefore, the second part of the working paper aims at advancing some data demonstrating this lack of update. For this purpose we gathered the number of total records indexed by Microsoft Academic Search since 2000. The data shows an abrupt drop in the number of documents indexed from 2,346,228 in 2010 to 8,147 in 2013 and 802 in 2014. This decrease is offered according to 15 thematic areas as well. In view of these problems it seems logical not only that Microsoft Academic Searchwas poorly used to search for articles by academics and students, who mostly use Google or Google Scholar, but virtually ignored by bibliometricians

연구 동기 및 목표

• 마이크로소프트 애카데믹 서치(MAS)의 현재 상태와 구글 색인과의 관련성을 평가하기 위해.
• 인용 기반 학술 검색 엔진의 커버리지, 저널 순위 상관관계, 사용 패턴을 평가하기 위해.
• 2014년 기준 MAS가 노후화되고 기능을 멈춘 상태가 되었는지 조사하기 위해.
• 색인된 기록 수와 웹 존재 지표를 통해 MAS 쇠퇴에 대한 실증적 증거를 제공하기 위해.

제안 방법

• 2000년부터 2014년까지 15개 주제 분야에서 MAS에 색인된 기록 수를 수집하고 분석하였다.
• MAS와 구글 색인을 언급하는 PDF, PPT, DOC 파일의 수를 통해 웹 존재 지표를 측정하였다.
• 웹 권위성과 사용량의 지표로 두 플랫폼으로 향하는 외부 백링크 수를 세었다.
• Google 트렌드 데이터를 사용하여 '마이크로소프트 애카데믹 서치'와 '구글 색인'의 검색 빈도 추세를 분석하였다.
• MAS와 구글 색인에서 유도된 저널 순위 간 상관관계를 평가하기 위해 비교 분석을 수행하였다.
• 색인 크기 감소와 그 사용성에 대한 영향을 평가하기 위해 통계 분석을 실시하였다.

실험 결과

연구 질문

• RQ1 2014년 기준 마이크로소프트 애카데믹 서치(MAS)는 여전히 활발히 유지되고 업데이트되고 있는가?
• RQ2 마이크로소프트 애카데믹 서치의 커버리지 및 색인 수는 구글 색인과 어떻게 비교되는가?
• RQ3 학술 및 문헌정보학 커뮤니티는 마이크로소프트 애카데믹 서치를 구글 색인만큼 사용하고 있는가?
• RQ4 마이크로소프트 애카데믹 서치가 2013년 이후로 기능을 멈춘 것으로 보이는 증거는 무엇인가?
• RQ5 MAS와 구글 색인 간의 저널 순위 상관관계는 시간이 지남에 따라 어떻게 변화했는가?

주요 결과

• 마이크로소프트 애카데믹 서치(MAS)는 2014년 기준 색인된 문서가 단 802건에 불과했으며, 2010년 230만 건에서 급격히 감소하여 색인 활동이 거의 붕괴된 것으로 나타났다.
• MAS의 색인 기록 수는 2013년에 8,147건으로 감소하여 2010년부터 급격한 감소 추세를 보였다.
• MAS는 웹 존재 지표가 극히 낮았으며, 구글 색인에 비해 PDF, PPT, DOC 파일에서 언급되는 빈도가 매우 적었다.
• MAS의 외부 백링크 수는 매우 낮아 웹 권위성 또는 사용량이 미미한 것으로 나타났다.
• Google 트렌드 데이터에 따르면 '구글 색인'의 검색 빈도가 '마이크로소프트 애카데믹 서치'보다 훨씬 높았다.
• MAS와 구글 색인에서 유도된 저널 순위 간 상관관계가 심각하게 감소하여, MAS의 데이터 신뢰성이 떨어지는 것으로 나타났다.