[論文レビュー] Empirical Evidences in Citation-Based Search Engines: Is Microsoft Academic Search dead?

Enrique Orduña‐Malea, Juan Manuel Ayllón+2 more|arXiv (Cornell University)|Apr 28, 2014

Web visibility and informetrics参考文献 9被引用数 24

ひとこと要約

本稿は、カバレッジ、ジャーナルランク相関、使用メトリクスの実証的データを用いて、引用ベースの検索エンジンのパフォーマンスを分析することで、Microsoft Academic Search (MAS) の関連性の低下を調査している。MASのインデックスは2010年の230万件から2014年にはたったの802件に減少しており、2013年以降は実質的に活動停止していたことが示され、学術的調査や文献計測用途にはもはや役立たないことが明らかになった。

ABSTRACT

The goal of this working paper is to summarize the main empirical evidences provided by the scientific community as regards the comparison between the two main citation based academic search engines: Google Scholar and Microsoft Academic Search, paying special attention to the following issues: coverage, correlations between journal rankings, and usage of these academic search engines. Additionally, selfelaborated data is offered, which are intended to provide current evidence about the popularity of these tools on the Web, by measuring the number of rich files PDF, PPT and DOC in which these tools are mentioned, the amount of external links that both products receive, and the search queries frequency from Google Trends. The poor results obtained by MAS led us to an unexpected and unnoticed discovery: Microsoft Academic Search is outdated since 2013. Therefore, the second part of the working paper aims at advancing some data demonstrating this lack of update. For this purpose we gathered the number of total records indexed by Microsoft Academic Search since 2000. The data shows an abrupt drop in the number of documents indexed from 2,346,228 in 2010 to 8,147 in 2013 and 802 in 2014. This decrease is offered according to 15 thematic areas as well. In view of these problems it seems logical not only that Microsoft Academic Searchwas poorly used to search for articles by academics and students, who mostly use Google or Google Scholar, but virtually ignored by bibliometricians

研究の動機と目的

• Google Scholarと比較して、Microsoft Academic Search (MAS) の現在の状態と関連性を評価すること。
• 引用ベースの学術検索エンジンのカバレッジ、ジャーナルランク相関、使用パターンを評価すること。
• 2014年時点でMASが陳腐化・不活性化していたかどうかを調査すること。
• インデックス記録数とウェブ存在メトリクスを通じた、MASの衰退に関する実証的証拠を提供すること。

提案手法

• 2000年から2014年までの15のテーマ分野にわたるMASのインデックス記録数を収集・分析した。
• MASとGoogle Scholarを含む両方のプラットフォームを言及するPDF、PPT、DOCファイルの数を用いて、ウェブ上の存在感を測定した。
• 外部バックリンク数を測定し、ウェブ権威性と使用頻度の代理指標とした。
• Googleトレンドデータを用いて、「Microsoft Academic」と「Google Scholar」の検索頻度のトレンドを分析した。
• MASとGoogle Scholarから得られたジャーナルランクの相関を比較し、一貫性を評価した。
• 統計的分析を用いて、MASのインデックスサイズの減少とその使いやすさへの影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 2014年時点でMicrosoft Academic Searchは、継続的に保守・更新されていると見なせるか？
• RQ2 Microsoft Academic Searchのカバレッジとインデックス化状況は、Google Scholarと比べてどの程度か？
• RQ3 学術コミュニティおよび文献計測コミュニティは、Microsoft Academic SearchとGoogle Scholarのどちらをどれだけ使用しているか？
• RQ4 Microsoft Academic Searchが2013年以降に不活性化したという主張を裏付ける証拠は何か？
• RQ5 MASとGoogle Scholar間のジャーナルランク相関は、時間経過とともにどのように変化したか？

主な発見

• Microsoft Academic\textasciitilde{}は2014年に802件の文書しかインデックス化しておらず、2010年の230万件から著しく減少しており、インデックス活動のほぼ完全な崩壊を示している。
• MASのインデックス記録数は2013年に8,147件にまで減少しており、2010年以降に急激に減少したことがわかる。
• MASはウェブ上での存在感が著しく低く、PDF、PPT、DOCファイルに言及される頻度は非常に少なかった。
• MASの外部バックリンク数は極めて低く、ウェブ上の権威性や使用頻度が極めて低いことが示された。
• Googleトレンドのデータから、『Google Scholar』の検索頻度が『Microsoft Academic』をはるかに上回っていることが明らかになった。
• MASとGoogle Scholarから得られたジャーナルランクの相関は著しく低下しており、MASのデータが信頼性に欠けることが示された。