[論文レビュー] A large dataset of software mentions in the biomedical literature

Ana-Maria Istrate, Donghui Li+4 more|arXiv (Cornell University)|Sep 1, 2022

Scientific Computing and Data Management被引用数 7

ひとこと要約

本論文では、1.12百万件の固有のソフトウェア言及を含む大規模なデータセット、CZ Software Mentionsデータセットを紹介する。このデータセットは、微調整されたSciBERT NERモデルを用いて抽出された240万件の生物医学論文からのものであり、DBSCANに基づくクラスタリング手法を用いて、185,000件のリポジトリにリンクされた97,600件の異なるソフトウェアエンティティに言及を解釈・分類した。これにより、科学的ソフトウェアのインパクト分析が可能となる。

ABSTRACT

We describe the CZ Software Mentions dataset, a new dataset of software mentions in biomedical papers. Plain-text software mentions are extracted with a trained SciBERT model from several sources: the NIH PubMed Central collection and from papers provided by various publishers to the Chan Zuckerberg Initiative. The dataset provides sources, context and metadata, and, for a number of mentions, the disambiguated software entities and links. We extract 1.12 million unique string software mentions from 2.4 million papers in the NIH PMC-OA Commercial subset, 481k unique mentions from the NIH PMC-OA Non-Commercial subset (both gathered in October 2021) and 934k unique mentions from 3 million papers in the Publishers' collection. There is variation in how software is mentioned in papers and extracted by the NER algorithm. We propose a clustering-based disambiguation algorithm to map plain-text software mentions into distinct software entities and apply it on the NIH PubMed Central Commercial collection. Through this methodology, we disambiguate 1.12 million unique strings extracted by the NER model into 97600 unique software entities, covering 78% of all software-paper links. We link 185000 of the mentions to a repository, covering about 55% of all software-paper links. We describe in detail the process of building the datasets, disambiguating and linking the software mentions, as well as opportunities and challenges that come with a dataset of this size. We make all data and code publicly available as a new resource to help assess the impact of software (in particular scientific open source projects) on science.

研究の動機と目的

• 生物医学文献における科学的ソフトウェアの同定と評価が不十分であるという課題に対処する。
• 科学的ソフトウェアのインパクト評価を支援するため、大規模かつ公開可能なソフトウェア言及データセットを構築すること。
• 多様なソフトウェア名文字列を一意のソフトウェアエンティティにマッピングするための解釈パイプラインを開発・適用すること。
• GitHub や PyPI などの外部リポジトリ（例：GitHub、PyPI）にソフトウェア言及をリンクさせることで、トレーサビリティと再現性を向上させること。
• 科学的ソフトウェアの使用傾向、分野別採用状況、およびインパクト指標に関する新規研究を可能にする。

提案手法

• 名前付きエンティティ認識（NER）のための微調整済みSciBERTモデルを用いて、全文の生物医学論文からソフトウェア言及を抽出する。
• キーワードベースの類義語生成、SciCrunch API クエリ、および文字列類似度メトリクス（例：ジャカード係数、レーベンシュタイン距離）を組み合わせた複数段階の解釈パイプラインを適用する。
• 類似度行列にDBSCANクラスタリングを適用し、意味的に類似したソフトウェア言及を一意のソフトウェアエンティティにグループ化する。
• PyPI、CRAN、Bioconductor、SciCrunch、GitHub API における正確一致検索を通じて、言及を外部リポジトリにリンクする。
• 標準化されたガイドラインに従い、専門のバイオカーレーターによるデータキュレーションを実施し、インターアノテーター整合性指標を用いて検証する。
• メタデータを正規化し、公開用に一貫したスキーマを持つ構造化された最終データセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 生物医学文献におけるソフトウェア言及のパターンの広がりとばらつきはどの程度か？
• RQ2 文字列類似度およびクラスタリング技術は、ソフトウェア言及を一意のソフトウェアエンティティにどの程度効果的に解釈できるか？
• RQ3 GitHub や PyPI などの権威あるリポジトリに、ソフトウェア言及をどの程度リンクできるか？
• RQ4 単一細胞生物学や画像解析などの生物医学分野におけるソフトウェアの採用傾向はどのようなものか？
• RQ5 このデータセットは、ソフトウェア固有のエイジンファクターのような新しいインパクト指標の開発を支援できるか？

主な発見

• データセットには、NIH PMC-OA コマercialサブセットの240万件の論文から112万件の固有ソフトウェア言及が含まれており、非商業サブセットから48万1千件、出版者提供の収集データから93万4千件が含まれる。
• DBSCANクラスタリングを用いることで、112万件の言及が97,600件の異なるソフトウェアエンティティに解釈され、全ソフトウェア-論文リンクの78％をカバーした。
• 18万5千件の言及が外部リポジトリに正常にリンクされ、全ソフトウェア-論文リンクの約55％をカバーした。
• 解釈パイプラインは高い正確性を示し、専門家による評価ではキュレートされたサンプルで強いインターアノテーター整合性が確認された。
• このデータセットにより、単一細胞手法や画像解析ソフトウェアの分野内浸透状況の追跡といった、新たなユースケースが可能になった。
• 本研究では、テキストマイニングとクラスタリングを活用して、大規模かつ再現可能なソフトウェアインパクト分析リソースを構築する可能性を示した。