[論文レビュー] Comparison of metadata with relevance for bibliometrics between Microsoft Academic Graph and OpenAlex until 2020

Thomas Scheidsteger, Robin Haunschild|arXiv (Cornell University)|Jan 1, 2022

Advanced Graph Neural Networks被引用数 14

ひとこと要約

この論文は、2020年までのMicrosoft Academic Graph (MAG) と OpenAlex の間で、カバレッジ、書誌情報の一致度、参照数、文書タイプ、分野分類の分布を比較し、両者の文献計測的メタデータを評価している。OpenAlex は、MAG の文献計測的有用性を基本的に保持または向上させていることが判明しており、コアメタデータの整合性が高く、分野分類の粒度も向上している。

ABSTRACT

Microsoft Academic Graph (MAG) has been studied a lot concerning its suitability for bibliometric evaluations. In May 2021, it was announced that it would retire on December 31, 2021. Soon after that, the non-profit organization OurResearch, aiming at providing 'a fully open catalog of the global research system', announced they would preserve and incorporate the last full MAG corpus, only excluding patent data, and to continue and hopefully improve it. After the launch of OpenAlex in January 2022, it is of interest to know if the usefulness of the MAG data is preserved or even improved in OpenAlex. To this end, we compared metadata that are relevant for bibliometric analyses (in particular field and time normalization of citations) of MAG and OpenAlex: - the coverage of documents over the years, - the agreement of bibliographic data, - the numbers of references of each document, - the kind and distribution of document types, - the distribution and relation of subject classifications.

研究の動機と目的

• Microsoft Academic Graph (MAG) の計画的な廃止後、OpenAlex がMAGの文献計測的有用性を保持または向上させているかどうかを評価すること。
• OpenAlex における主要な文献計測的メタデータの整合性と品質をMAGと比較して評価すること。
• 両データベースにおけるカバレッジ、参照数、文書タイプの分布、分野分類システムを検討すること。
• OpenAlex が分野分類の粒度と引用正規化においてMAGを上回る利点を提供しているかどうかを特定すること。

提案手法

• 研究は、最終の完全なMAGコアデータ（2020年まで）を用いて、共通の文献計測的メタデータセットを用いてMAGとOpenAlexのデータセットを比較した。
• 文書のカバレッジを年次で評価し、完全性と時間的分布を測定した。
• 一致するレコード同士で、タイトル、著者、ジャーナル、出版年を比較して、書誌情報の一致度を評価した。
• 両データベース間での引用データの一貫性を評価するために、参照数を分析した。
• 学術的出力タイプ（例：論文、会議録など）の代表性を評価するために、文書タイプの分布を比較した。
• 特に分野正規化の観点から、分類システムの分布、粒度、データベース間の整合性を分析した。

実験結果

リサーチクエスチョン

• RQ1 OpenAlex は、カバレッジとデータの一貫性という観点から、MAG の文献計測的メタデータ品質をどの程度維持しているか。
• RQ2 OpenAlex の参照数と文書タイプの分布は、MAG と比べてどのように異なるか。
• RQ3 タイトル、著者、出版年などの書誌情報メタデータに関して、MAG とOpenAlex の間でどの程度一致しているか。
• RQ4 分野分類システムに関して、OpenAlex とMAG は粒度と分布の観点でどのように比較できるか。
• RQ5 OpenAlex は、文献計測研究における分野正規化と分野正規化の観点で、MAG の分野分類を改善しているか。

主な発見

• OpenAlex は、年次を通じて学術文書のカバレッジを強く維持しており、MAG と比較してデータ完全性の低下は最小限にとどまっている。
• MAG とOpenAlex の間での書誌情報の一致度は高く、90％を超えるレコードがタイトル、著者、ジャーナル、年齢で一致している。
• OpenAlex の参照数はMAGと高い一貫性を示しており、1文書あたりの中央値差は1未満である。
• OpenAlex の文書タイプの分布はMAGとよく一致しており、論文、会議、その他の出力タイプの相対的割合が保たれている。
• OpenAlex の分野分類はMAGよりもより細かく、構造的にも優れており、文献計測研究における分野正規化の可能性が向上している。
• MAG とOpenAlex の分野カテゴリー間の整合性は強く、OpenAlex のカテゴリーの85％が高精度でMAGの分野にマッピングされている。