[论文解读] Data Quality Assessment: Challenges and Opportunities

Sedir Mohammed, Ehrlinger, Lisa+3 more|arXiv (Cornell University)|Mar 1, 2024

Data Quality and Management被引用 4

一句话总结

本文提出了一套系统性的五维框架，用于全面的数据质量（DQ）评估，整合了准确性、及时性、透明度等维度，以实现数值评分和上下文感知的评估。该框架通过识别数据源、系统、任务和人为因素中的挑战与技术，弥补了缺乏标准化DQ评估的不足，旨在支持数据清洗、合规性以及人工智能模型的可靠性。

ABSTRACT

Data-oriented applications, their users, and even the law require data of high quality. Research has divided the rather vague notion of data quality into various dimensions, such as accuracy, consistency, and reputation. To achieve the goal of high data quality, many tools and techniques exist to clean and otherwise improve data. Yet, systematic research on actually assessing data quality in its dimensions is largely absent, and with it, the ability to gauge the success of any data cleaning effort. We propose five facets as ingredients to assess data quality: data, source, system, task, and human. Tapping each facet for data quality assessment poses its own challenges. We show how overcoming these challenges helps data quality assessment for those data quality dimensions mentioned in Europe's AI Act. Our work concludes with a proposal for a comprehensive data quality assessment framework.

研究动机与目标

• 解决尽管在DQ维度方面已有大量研究，但系统性、全面的数据质量（DQ）评估方法仍显不足的问题。
• 建立一个统一框架，实现在多种数据类型和使用场景下，对数据质量进行数值化、上下文感知的评分。
• 识别并分析在五个关键维度（数据源、系统、任务、人为因素、数据本身）上评估DQ的挑战与机遇。
• 通过实现可度量的数据质量评估，支持数据清洗、监管合规性（例如GDPR、AI法案）以及以数据为中心的AI。
• 通过整合技术、组织和人为因素，弥合理论上的DQ维度与实际评估之间的差距。

提出的方法

• 提出一个五维DQ评估框架：数据源、系统、任务、人为因素和数据本身，每个维度均有其独特的评估挑战与需求。
• 将29个代表性DQ维度（例如准确性、一致性、及时性、可追溯性、透明度、可理解性、唯一性）整合进评估框架。
• 强调元数据、血缘追踪、版本控制和标准化文档在实现可复现、可审计的DQ评估中的必要性。
• 强调可扩展的数据处理、自动化数据剖析和以用户为中心的设计在实现大规模、持续DQ监控中的作用。
• 主张DQ评估必须具备上下文敏感性，与具体用例、领域法规（例如HIPAA、GDPR）和模型训练需求保持一致。
• 呼吁整合数据血缘、DQ工具和治理平台等技术，以在实践中实现DQ评估的落地。

Figure 1 . Facets of data quality assessment and the exemplary characteristics for various data quality dimensions.

实验结果

研究问题

• RQ1 如何在多维度上系统性地评估数据质量，以支持数据清洗和合规性？
• RQ2 在五个维度（数据源、系统、任务、人为因素、数据本身）上评估数据质量的关键挑战是什么？
• RQ3 如何对时间性、可追溯性和透明度等DQ维度进行有意义的测量与评分？
• RQ4 特定领域的法规（例如GDPR、HIPAA）和人工智能治理框架在塑造DQ评估中发挥什么作用？
• RQ5 如何构建一个统一的、数值化的数据质量档案，以真实反映数据集在其预期使用上下文中的质量？

主要发现

• 本文识别出五个核心维度——数据源、系统、任务、人为因素和数据本身——构成了全面数据质量评估框架的基础。
• 确立了若无法测量，DQ便无法真正提升的原则，强调‘DQ无法被改进，若其无法被测量’。
• 对时间性和可追溯性等维度的评估，分别需要明确定义可接受的时间范围和明确的血缘追踪机制。
• 透明度和可理解性对建立信任和实现合规至关重要，但因用户背景差异及对非技术性披露的需求而面临挑战。
• 唯一性评估的复杂性源于需在多个粒度（数值、行、列、数据集）上定义重复检测，并使用模糊匹配技术。
• 本文指出，监管框架（例如GDPR、AI法案）因潜在矛盾及缺乏标准化的DQ维度定义，增加了DQ合规的复杂性。