[论文解读] Improving the data quality in the research information systems

Otmane Azeroual, Mohammad Abuosba|arXiv (Cornell University)|Jan 18, 2019

Data Quality and Management参考文献 3被引用 9

一句话总结

本文提出了一套框架，通过识别和解决数据重复、缺失值和格式不一致等常见数据问题，提升研究信息系统中的数据质量。利用自动化数据剖析与清洗技术，该方法提高了数据的准确性与一致性，从而实现更可靠的科研报告和机构决策。

ABSTRACT

In order to introduce an integrated research information system, this will provide scientific institutions with the necessary information on research activities and research results in assured quality. Since data collection, duplication, missing values, incorrect formatting, inconsistencies, etc. can arise in the collection of research data in different research information systems, which can have a wide range of negative effects on data quality, the subject of data quality should be treated with better results. This paper examines the data quality problems in research information systems and presents the new techniques that enable organizations to improve their quality of research information.

研究动机与目标

• 应对研究信息系统中日益严重的低质量数据问题，该问题阻碍了机构报告与决策制定。
• 识别研究数据源中常见的数据质量问题，如数据重复、缺失值、格式错误及不一致性。
• 开发一种系统化方法，以检测并纠正研究信息系统中的数据质量问题。
• 使科研机构能够维护高质量、可靠的数据，用于科研评估与资助分配。
• 支持将多样化研究数据源整合到统一、可信的研究信息系统中。

提出的方法

• 应用数据剖析技术，检测研究数据中的异常，如重复条目、缺失值及格式不一致。
• 实施自动化数据清洗工作流，通过预定义规则与验证逻辑，纠正已识别的数据质量问题。
• 将数据质量监控集成到数据管道中，确保系统摄入与更新过程中的持续数据完整性。
• 利用元数据与模式验证，标准化数据格式，提升异构研究信息源之间的数据一致性。
• 借鉴适用于研究信息系统的现有数据质量评估框架，指导实施过程。
• 在数据集成的多个阶段应用迭代式数据质量检查，确保校正工作的可靠性与可追溯性。

实验结果

研究问题

• RQ1 影响学术机构研究信息系统的主要数据质量问题是什么？
• RQ2 自动化技术如何检测并解决研究数据中的数据质量问题，如重复与缺失值？
• RQ3 数据剖析与清洗在多大程度上能提升研究信息系统的准确性与一致性？
• RQ4 在多样且不断演化的研究数据源中，维持数据质量面临哪些关键挑战？
• RQ5 数据质量改进如何支持更优的机构报告与科研评估流程？

主要发现

• 所提出的框架通过自动化剖析与清洗，显著减少了研究信息系统中的数据重复与缺失值。
• 标准化的数据格式与模式验证提升了异构研究数据源之间的数据一致性。
• 在数据管道中实施持续数据质量监控后，机构数据质量得到显著改善。
• 该框架实现了更准确、可靠的研究报告，支持科研管理的更好决策。
• 该方法具有可扩展性，且可适应多种研究信息系统，几乎无需人工干预。
• 本研究证明，主动的数据质量管理可显著提升科研数据在机构使用中的可信度。