[論文レビュー] A machine-compiled macroevolutionary history of Phanerozoic life

Shanan E. Peters, Ce Zhang+2 more|arXiv (Cornell University)|Jun 11, 2014

Genomics and Phylogenetic Studies参考文献 39被引用数 6

ひとこと要約

本論文では、科学文献から化石出現データを自動で抽出する機械読解システムであるPaleoDeepDive (PDD) を提示する。このシステムは、古生物学的データ抽出の分野で人間の水準の正確性を達成し、再現可能でスケーラブルな確率的データベースを生成することで、パラノーザイクスの多様性パターンの包括的合成を可能にする。このデータベースは、図版からの形態的データを含み、Paleobiology Database などの人間が管理するデータベースと同等の性能を示す。

ABSTRACT

Many aspects of macroevolutionary theory and our understanding of biotic responses to global environmental change derive from literature-based compilations of palaeontological data. Existing manually assembled databases are, however, incomplete and difficult to assess and enhance. Here, we develop and validate the quality of a machine reading system, PaleoDeepDive, that automatically locates and extracts data from heterogeneous text, tables, and figures in publications. PaleoDeepDive performs comparably to humans in complex data extraction and inference tasks and generates congruent synthetic macroevolutionary results. Unlike traditional databases, PaleoDeepDive produces a probabilistic database that systematically improves as information is added. We also show that the system can readily accommodate sophisticated data types, such as morphological data in biological illustrations and associated textual descriptions. Our machine reading approach to scientific data integration and synthesis brings within reach many questions that are currently underdetermined and does so in ways that may stimulate entirely new modes of inquiry.

研究の動機と目的

• 機械読解システムが、人間が管理するデータベースと同等の品質のマクロエボリューションデータを生成できるかどうかを検証すること。
• 膨大な科学文献からの抽出を自動化することで、古生物学におけるデータ統合のスケーラビリティを向上させ、コストを削減すること。
• 生物学的図版からの形態的測定値や関連するテキストといった、複雑なデータタイプを処理できるシステムを開発すること。
• 仮説検証や新たな科学的探求を支援する、再現可能で大規模な化石データの統合を可能にすること。

提案手法

• PaleoDeepDive は、DeepDive 機械読解インfra を用いて、非構造化テキスト、表、図から構造化されたデータを抽出する。
• 確率的モデリングを用いて、精度と再現率を向上させるために、関係（例：地質時代、場所、分類的ステータス）の統合推論を実施する。
• 統計的推論のために、2億以上の確率的変数と3億以上の要因を含む大規模な要因グラフ上でギブスサンプリングを実行する。
• NUMA 対応の計算とロックフリーで並列化された確率的最適化を活用することで、ハードウェア効率と統計的効率の両方を向上させ、収束を促進する。
• 光学文字認識（OCR）と自然言語理解を統合し、ラベル付き図版を含む多様なデータソースを処理する。
• 少量のラベル付きデータで学習し、新しい文献に一般化可能であるため、既存のデータベースのスケーラブルな拡張が可能になる。

実験結果

リサーチクエスチョン

• RQ1 機械読解システムは、Paleobiology Database のような人間が管理するデータベースと同等の品質で化石出現データを抽出できるか？
• RQ2 マシン抽出データの性能は、パラノーザイクスの多様性曲線を再構築する際、人間が生成したデータと比べてどの程度か？
• RQ3 生物学的図版とそのテキスト記述から、体サイズの推定値といった形態的データを信頼性高く抽出できるか？
• RQ4 現在手作業で管理されているデータベースよりも、10倍以上の文献を処理できるスケーラビリティを備えているか？
• RQ5 複数の関係にわたる統合推論は、複雑な抽出タスクにおけるデータ品質の向上と曖昧さの低減に寄与するか？

主な発見

• PaleoDeepDive は人間の専門家と同等の抽出品質を達成し、Paleobiology Database から得られるものと統計的に区別できない合成された多様性曲線を生成した。
• システムは、新たなデータが加わるたびに体系的に改善される確率的データベースを生成し、スケーラブルかつ再現可能なデータ統合を可能にした。
• 図版から得たマシン抽出の体サイズ推定値は、人間の専門家による手動測定と統計的に区別できない結果となった。
• システムは高いスケーラビリティを示し、手作業で管理されているデータベースよりも10倍以上の参照文書からデータを抽出した。
• 複数の関係にわたる統合推論は、特に階層的関係（例：時代の包含関係）を活用することで、精度と再現率を顕著に向上させた。
• 統合推論ルールを無効化しても全体の品質にほとんど影響がなかったため、異なる関係タイプに対して高いモジュール性と耐障害性を示した。