[論文レビュー] Metadata in the BioSample Online Repository are Impaired by Numerous Anomalies

Rafael S. Gonçalves, Martin J. O’Connor+3 more|arXiv (Cornell University)|Aug 3, 2017

Biomedical Text Mining and Ontologies参考文献 10被引用数 9

ひとこと要約

本研究は、NCBI BioSampleリポジトリ内のメタデータの品質を評価し、広範な不整合性と標準化の欠如を明らかにした。660万件のレコードのうち15%は未定義のフィールド名を使用しており、ブール型フィールドのわずか27%しか有効な値を含んでいない。これは、メタデータ検証および実行メカニズムに根本的な欠陥があることを示している。

ABSTRACT

The metadata about scientific experiments are crucial for finding, reproducing, and reusing the data that the metadata describe. We present a study of the quality of the metadata stored in BioSample--a repository of metadata about samples used in biomedical experiments managed by the U.S. National Center for Biomedical Technology Information (NCBI). We tested whether 6.6 million BioSample metadata records are populated with values that fulfill the stated requirements for such values. Our study revealed multiple anomalies in the analyzed metadata. The BioSample metadata field names and their values are not standardized or controlled--15% of the metadata fields use field names not specified in the BioSample data dictionary. Only 9 out of 452 BioSample-specified fields ordinarily require ontology terms as values, and the quality of these controlled fields is better than that of uncontrolled ones, as even simple binary or numeric fields are often populated with inadequate values of different data types (e.g., only 27% of Boolean values are valid). Overall, the metadata in BioSample reveal that there is a lack of principled mechanisms to enforce and validate metadata requirements. The aberrancies in the metadata are likely to impede search and secondary use of the associated datasets.

研究の動機と目的

• BioSampleリポジトリにおけるメタデータの品質と一貫性を評価すること。
• メタデータフィールドおよび値における構造的・意味的異常を同定すること。
• 制御語彙やオントロジーが効果的に適用されているかどうかを評価すること。
• メタデータの欠陥がデータの検索可能性および再利用に与える影響を特定すること。
• より良い検証メカニズムが、信頼できるバイオメディカルデータ統合のためには不可欠であると提言すること。

提案手法

• 研究者たちは、NCBIリポジトリから抽出した660万件のBioSampleメタデータレコードを分析した。
• 公式のBioSampleデータ辞書と照合することで、非標準のエントリを特定するため、フィールド名を検証した。
• 特にブール型、数値型、カテゴリー型フィールドにおけるデータ型の一貫性を評価した。
• オントロジー用語の使用状況を、制御語彙を使用する必要があるフィールドについて評価し、制御済みと非制御フィールドの品質を比較した。
• 自動パースおよび型チェックを適用して、データ型の不一致や無効な値を検出した。
• 異常を異なるメタデータフィールドカテゴリごとに定量化するために、統計的分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 BioSampleメタデータのフィールド名は、リポジトリ全体でどの程度標準化されているか？
• RQ2 ブール型、数値型、またはカテゴリー型のフィールドにおいて、データ型がどの程度違反されているか？
• RQ3 制御語彙の使用が必須とされるフィールドにおいて、正しいオントロジー使用率はどの程度か？
• RQ4 制御語彙を使用するフィールドの品質指標は、非制御フィールドと比べてどの程度異なるか？
• RQ5 メタデータ管理におけるどのようなシステム的問題が、一貫性の欠如を引き起こし、データ再利用を妨げているか？

主な発見

• BioSampleにおける15%のメタデータフィールド名は、公式のBioSampleデータ辞書に定義されていない。
• 452の指定フィールドのうち、わずか9つがオントロジー用語の使用を要件としており、それらですら一貫性のない使用が見られた。
• ブール型フィールドのわずか27%しか有効なブール値を含んでいない。これは、広範なデータ型違反を示している。
• 非制御フィールドは、単純なデータ型であっても、制御フィールドよりも著しく劣ったデータ品質を示している。
• 原則に基づいた検証および実行メカニズムの欠如が、全体のメタデータ品質を損なっている。
• これらの異常は、関連データセットの効果的な検索、統合、二次的利用を妨げる可能性がある。