[论文解读] Data Smells: Categories, Causes and Consequences, and Detection of Suspicious Data in AI-based Systems

Harald Foidl, Michael Felderer+1 more|arXiv (Cornell University)|Mar 19, 2022

Software Engineering Research被引用 4

一句话总结

本文提出了“数据异味”（data smells）——一种类似于代码异味的、潜在的、与上下文无关的数据质量问题——作为AI系统中潜在问题的信号。该研究提出了一个包含36种数据异味的目录，涵盖三个类别（可信度、可理解性、一致性），并提出了基于规则和基于机器学习的检测方法。通过在246个真实数据集上的评估，证明了数据异味在实践中可被检测和管理，从而实现主动的数据质量保障，减少技术债务。

ABSTRACT

High data quality is fundamental for today's AI-based systems. However, although data quality has been an object of research for decades, there is a clear lack of research on potential data quality issues (e.g., ambiguous, extraneous values). These kinds of issues are latent in nature and thus often not obvious. Nevertheless, they can be associated with an increased risk of future problems in AI-based systems (e.g., technical debt, data-induced faults). As a counterpart to code smells in software engineering, we refer to such issues as Data Smells. This article conceptualizes data smells and elaborates on their causes, consequences, detection, and use in the context of AI-based systems. In addition, a catalogue of 36 data smells divided into three categories (i.e., Believability Smells, Understandability Smells, Consistency Smells) is presented. Moreover, the article outlines tool support for detecting data smells and presents the result of an initial smell detection on more than 240 real-world datasets.

研究动机与目标

• 为解决AI系统中那些不明显但可能导致未来故障的潜在数据质量问题的研究不足问题。
• 通过类比代码异味，对数据异味进行概念化，定义其在AI系统上下文中的特征、成因及后果。
• 开发一个全面的36种数据异味目录，分为可信度、可理解性和一致性三类。
• 提出并评估检测技术——基于规则和基于机器学习的方法——这些方法与传统数据验证解耦，实现在AI开发生命周期中早期识别问题数据。
• 通过在Kaggle平台获取的246个真实数据集上的实验评估，证明数据异味检测在实践中的适用性。

提出的方法

• 基于与代码异味的类比，提出一个数据异味的概念框架，强调其作为潜在数据质量问题早期指标的作用。
• 将36种数据异味分类为三类：可信度异味（如不合理数值）、可理解性异味（如模糊标签）和一致性异味（如冲突的数据表示）。
• 开发一种基于规则的检测方法，利用预定义启发式规则识别可疑数据模式，而无需依赖特定领域约束。
• 设计一种基于机器学习的检测方法，通过合成数据和真实数据进行训练，以识别复杂且不明显的数据异味模式。
• 在工具中实现两种检测方法，支持集成到数据工程流水线中，并在Kaggle平台的246个真实数据集上进行验证。
• 使用数据异味密度作为指标，在高数据量环境中优先处理数据流，指导针对性的验证工作。

实验结果

研究问题

• RQ1 在AI系统中，数据异味的定义特征、成因及后果是什么？
• RQ2 如何系统性地对数据异味进行分类，并将其与实际数据错误区分开来？
• RQ3 在AI开发生命周期中，哪些有效且与上下文无关的检测技术可用于早期识别数据异味？
• RQ4 在真实数据集中检测数据异味的可行性如何？检测到的问题规模如何？
• RQ5 数据异味检测在哪些方面能够提升数据质量保障并减少AI系统中的技术债务？

主要发现

• 在Kaggle平台246个真实数据集上的实验评估表明，数据异味可被检测，且问题规模可控，证明了其实际可行性。
• 基于规则的检测方法在无需领域特定约束的情况下成功识别了可疑数据模式，具备广泛适用性。
• 基于机器学习的检测方法在发现复杂且不明显的数据异味模式方面表现出有效性，这些模式可能逃避免传统验证机制。
• 数据异味密度成为在高数据量和多数据流系统中优先处理数据验证工作的有用指标。
• 数据异味检测能够发现传统质量保障手段难以察觉的细微数据处理缺陷，降低模型退化和数据引发的错误风险。
• 在生产系统中应用数据异味检测可识别出此前未被发现的数据问题，支持主动的根本原因分析和验证规则优化。