[论文解读] Metadata in the BioSample Online Repository are Impaired by Numerous Anomalies

Rafael S. Gonçalves, Martin J. O’Connor+3 more|arXiv (Cornell University)|Aug 3, 2017

Biomedical Text Mining and Ontologies参考文献 10被引用 9

一句话总结

本研究评估了NCBI BioSample存储库中元数据的质量，揭示了广泛存在的不一致性和缺乏标准化。在660万条记录中，15%使用了未定义的字段名称，且仅有27%的布尔字段包含有效值，表明元数据验证和强制执行机制存在系统性缺陷。

ABSTRACT

The metadata about scientific experiments are crucial for finding, reproducing, and reusing the data that the metadata describe. We present a study of the quality of the metadata stored in BioSample--a repository of metadata about samples used in biomedical experiments managed by the U.S. National Center for Biomedical Technology Information (NCBI). We tested whether 6.6 million BioSample metadata records are populated with values that fulfill the stated requirements for such values. Our study revealed multiple anomalies in the analyzed metadata. The BioSample metadata field names and their values are not standardized or controlled--15% of the metadata fields use field names not specified in the BioSample data dictionary. Only 9 out of 452 BioSample-specified fields ordinarily require ontology terms as values, and the quality of these controlled fields is better than that of uncontrolled ones, as even simple binary or numeric fields are often populated with inadequate values of different data types (e.g., only 27% of Boolean values are valid). Overall, the metadata in BioSample reveal that there is a lack of principled mechanisms to enforce and validate metadata requirements. The aberrancies in the metadata are likely to impede search and secondary use of the associated datasets.

研究动机与目标

• 评估BioSample存储库中元数据的质量和一致性。
• 识别元数据字段和值中的结构和语义异常。
• 评估受控词汇表和本体是否得到有效实施。
• 确定元数据缺陷如何影响数据的可发现性和可重用性。
• 提出改进验证机制对于实现可靠的生物医学数据集成至关重要。

提出的方法

• 研究人员分析了NCBI存储库中660万条BioSample元数据记录。
• 他们将字段名称与官方BioSample数据字典进行比对，以检测非标准化条目。
• 他们评估了数据类型的一致性，特别是布尔、数值和分类字段。
• 他们评估了在需要使用本体术语的字段中本体术语的使用情况，并比较了受控字段与非受控字段的质量差异。
• 他们应用了自动解析和类型检查，以检测数据类型不匹配和无效值。
• 他们使用统计分析量化了不同元数据字段类别中的异常情况。

实验结果

研究问题

• RQ1 BioSample元数据字段名称在存储库中标准化的程度如何？
• RQ2 在布尔、数值或分类值等字段中，数据类型违规的频率如何？
• RQ3 在需要使用受控术语的字段中，本体使用正确的比例是多少？
• RQ4 受控字段的质量指标与非受控字段相比如何？
• RQ5 元数据管理中的哪些系统性问题导致了不一致，从而阻碍了数据重用？

主要发现

• BioSample中15%的元数据字段名称未在官方BioSample数据字典中定义。
• 在452个指定字段中，仅有9个字段要求使用本体术语，且这些字段的使用也存在不一致。
• 仅有27%的布尔字段包含有效的布尔值，表明存在广泛的数据类型违规。
• 即使对于简单数据类型，非受控字段的数据质量也显著低于受控字段。
• 由于缺乏系统性的验证和强制执行机制，整体元数据质量受到损害。
• 这些异常很可能会阻碍相关数据集的有效搜索、整合和二次使用。