[論文レビュー] S2ORC: The Semantic Scholar Open Research Corpus

Kyle Lo, Lucy Lu Wang+3 more|arXiv (Cornell University)|Nov 7, 2019

Topic Modeling参考文献 53被引用数 5

ひとこと要約

S2ORCは、多数の出版者およびアーカイブから統合された構造化された本文、メタデータ、および参考文献を備えた、8,110万件の英語学術論文からなる、公開利用可能な最大規模の機械可読コーパスを提供する。これは、リンクされた引用、図、表、および方程式を含む豊富なアノテーション付き本文データを提供し、従来のコーパスと比較して大幅にカバー範囲と構造的豊かさが向上している。

ABSTRACT

We introduce S2ORC, a large corpus of 81.1M English-language academic papers spanning many academic disciplines. The corpus consists of rich metadata, paper abstracts, resolved bibliographic references, as well as structured full text for 8.1M open access papers. Full text is annotated with automatically-detected inline mentions of citations, figures, and tables, each linked to their corresponding paper objects. In S2ORC, we aggregate papers from hundreds of academic publishers and digital archives into a unified source, and create the largest publicly-available collection of machine-readable academic text to date. We hope this resource will facilitate research and development of tools and tasks for text mining over academic text.

研究の動機と目的

• 複数の専門分野をカバーする、公開利用可能な最大規模の機械可読学術論文コーパスの構築。
• 数百の出版者およびアーカイブから学術論文の本文を統合し、一貫性がありアクセス可能なリソースとして統一する。
• インライン引用、図/表参照、および関連付いた文献メタデータを含む構造化されたアノテート済み本文を提供し、NLPおよびテキストマイニング応用を強化する。
• 全文解析、引用リンク、多様な学術分野への対応を含め、既存の学術的テキストコーパスの品質とカバー範囲を向上させる。

提案手法

• 信頼できる出版者、デジタルアーカイブ（例：arXiv、PubMed Central）、および機関リポジトリから8,110万件の英語学術論文を収集。
• Grobidおよびpdfaltoを用いて、810万件のオープンアクセスPDFから本文を抽出・構造化し、段落区切り、セクション見出し、インラインアノテーションを保持。
• インライン引用、図参照、表参照、および方程式を、それらに対応する文献エントリおよびオブジェクトに自動的に特定・リンク。
• Semantec Scholarの学術文献グラフ内の8110万件の論文ノードにすべての引用をリンクすることで、統一された引用グラフを生成。
• 追加の構造的要素（数学的式、表の内容など）を回復するため、別個のLaTeX解析済みサブセット（150万件）を提供。
• 処理前に、低品質または論文でないPDF（例：50ページ以上、スライド、パースングエラー）を除外するためのフィルターヒューリスティクスを適用。

実験結果

リサーチクエスチョン

• RQ1 多様なソースから一貫性のある構造とメタデータを持つ、大規模で統合的かつ機械可読の学術論文コーパスをどのように構築できるか？
• RQ2 S2ORCは、全文カバレッジ、構造的豊かさ、多様な学術分野へのカバー範囲という観点で、既存のコーパスをどの程度上回るか？
• RQ3 インライン引用、図、表がリンクされた構造化された本文を含めることで、引用リンクやディス course 分析などの下流NLPタスクに顕著な改善がもたらされるか？
• RQ4 正準論文クラスタリング手法は、プレプリント版と公開版の両方のバージョンにおいて、論文の意図された同一性をどの程度正確に保持できるか？
• RQ5 S2ORCを用いて事前学習したBERTモデルが、他の事前学習コーパスと比較して、学術的NLPタスクに与える影響はいかほどか？

主な発見

• S2ORCには8,110万件の論文ノードが含まれており、そのうち810万件の論文でPDFから本文が抽出され構造化されている。
• S2ORCは、コンピュータサイエンス、物理学、数学、バイオメディカル文献を含む、他の公開コーパスと比較してより広範な学術分野をカバーしている。
• S2ORCは、インライン引用、図、表の参照がそれらの対応するオブジェクトおよび文献エントリにリンクされた全文解析を提供している。
• LaTeX解析済みサブセット（150万件）は、方程式や表の内容といった追加の構造的要素を回復しており、SaierおよびFärber（2019）の前例コーパスを上回っている。
• S2ORCは、次に大きな文献メトリクス強化付きコーパスであるPubMed Central（OA）の3倍以上の全文論文を含んでいる。
• 評価では、正準タイトルの98.5％、著者リストの97.2％が、許容範囲内の変更（例：大文字小文字、特殊文字、イニシャル）を除き、PDFと一致しており、論文クラスタリングの精度が非常に高いことが示された。