[论文解读] A novel framework for assessing metadata quality in epidemiological and public health research settings

Christiana McMahon, Spiros Denaxas|arXiv (Cornell University)|Aug 22, 2016

Biomedical Text Mining and Ontologies参考文献 23被引用 7

一句话总结

本文提出了一套新颖的四部分框架，用于系统评估流行病学和公共卫生研究数据集中的元数据质量。该框架整合了文献综述与利益相关者调查，以识别关键维度，并通过三个测试案例及专家反馈对框架进行了评估，证明其在真实研究环境中的稳健性与系统适用性。

ABSTRACT

Metadata are critical in epidemiological and public health research. However, a lack of biomedical metadata quality frameworks and limited awareness of the implications of poor quality metadata renders data analyses problematic. In this study, we created and evaluated a novel framework to assess metadata quality of epidemiological and public health research datasets. We performed a literature review and surveyed stakeholders to enhance our understanding of biomedical metadata quality assessment. The review identified 11 studies and nine quality dimensions; none of which were specifically aimed at biomedical metadata. 96 individuals completed the survey; of those who submitted data, most only assessed metadata quality sometimes, and eight did not at all. Our framework has four sections: a) general information; b) tools and technologies; c) usability; and d) management and curation. We evaluated the framework using three test cases and sought expert feedback. The framework can assess biomedical metadata quality systematically and robustly.

研究动机与目标

• 解决流行病学和公共卫生研究中缺乏标准化框架以评估生物医学元数据质量的问题。
• 通过全面的文献综述与利益相关者调查，识别元数据质量的关键维度。
• 开发一种结构化、可操作的框架，以支持在复杂研究数据集中一致且可靠的元数据质量评估。
• 通过真实世界测试与专家验证，确保该框架在多样化公共卫生数据环境中的实用性与适用性。

提出的方法

• 开展系统性文献综述，识别出11项研究及九个元数据质量维度，其中无一项专门针对生物医学元数据。
• 向96名利益相关者发放调查问卷，以评估当前元数据质量评估实践及认知水平。
• 设计一个由四部分组成的框架，包括：(a) 一般信息，(b) 工具与技术，(c) 可用性，以及 (d) 管理与维护。
• 利用三个真实世界测试案例评估该框架，以检验其实际适用性与稳健性。
• 征求领域专家意见，以完善并验证该框架的结构与实用性。
• 整合文献、调查数据与专家意见的发现，以确保该框架的相关性与全面性。

实验结果

研究问题

• RQ1 哪些是与流行病学和公共卫生研究数据集相关的元数据质量关键维度？
• RQ2 研究人员当前多频繁地评估元数据质量？其一致评估的主要障碍是什么？
• RQ3 结构化、多组件的框架是否能有效支持公共卫生数据环境中的系统性元数据质量评估？
• RQ4 专家如何看待所提出的元数据质量评估框架的可用性与完整性？
• RQ5 该框架在多大程度上支持公共卫生数据研究中的可重复性与可靠性？

主要发现

• 文献综述显示，尽管日益认识到其重要性，但目前尚无专门针对生物医学元数据质量评估的现有框架。
• 调查结果显示，仅少数研究人员（不足一半）定期评估元数据质量，其中八名受访者表示从未进行过评估。
• 所提出的框架成功捕捉了四个不同维度中元数据质量的关键方面：一般信息、工具与技术、可用性以及管理与维护。
• 在三个测试案例中的评估表明，该框架能够系统性地识别真实公共卫生数据集中的元数据质量问题。
• 专家反馈确认该框架在清晰度、结构与实际应用价值方面表现良好，可有效指导研究环境中的元数据质量评估。
• 该框架提供了一种标准化、可重复的方法，用于评估元数据质量，从而增强流行病学研究中数据重用、可重复性与可信度。