[论文解读] DC-Check: A Data-Centric AI checklist to guide the development of reliable machine learning systems

Nabeel Seedat, Fergus Imrie+1 more|arXiv (Cornell University)|Nov 9, 2022

Explainable Artificial Intelligence (XAI)参考文献 124被引用 11

一句话总结

DC-Check 是一个以数据为中心的 AI 检查清单框架，指导从业者和研究人员在整个机器学习流程（数据、训练、测试和部署）中系统性地考虑数据驱动的要素，通过将关注点从以模型为中心转向以数据为中心，提升系统的可靠性、透明度和鲁棒性。其主要贡献是一个结构化、可操作的检查清单，配有相关工具和配套网站，以标准化并实现真实世界机器学习系统中的以数据为中心的实践。

ABSTRACT

While there have been a number of remarkable breakthroughs in machine learning (ML), much of the focus has been placed on model development. However, to truly realize the potential of machine learning in real-world settings, additional aspects must be considered across the ML pipeline. Data-centric AI is emerging as a unifying paradigm that could enable such reliable end-to-end pipelines. However, this remains a nascent area with no standardized framework to guide practitioners to the necessary data-centric considerations or to communicate the design of data-centric driven ML systems. To address this gap, we propose DC-Check, an actionable checklist-style framework to elicit data-centric considerations at different stages of the ML pipeline: Data, Training, Testing, and Deployment. This data-centric lens on development aims to promote thoughtfulness and transparency prior to system development. Additionally, we highlight specific data-centric AI challenges and research opportunities. DC-Check is aimed at both practitioners and researchers to guide day-to-day development. As such, to easily engage with and use DC-Check and associated resources, we provide a DC-Check companion website (https://www.vanderschaar-lab.com/dc-check/). The website will also serve as an updated resource as methods and tooling evolve over time.

研究动机与目标

• 解决在现实世界应用中开发可靠机器学习系统时，系统性以数据为中心的指导不足的问题。
• 将关注点从以模型为中心的优化转向以数据为中心的实践，从而提升系统的可靠性、公平性和鲁棒性。
• 提供一种标准化的、基于检查清单的框架，适用于从从业者到研究人员的整个机器学习流程。
• 突出数据整理、质量评估、数据漂移监控和不确定性量化等关键以数据为中心的挑战与研究机遇。
• 通过在开发过程中早期且持续地嵌入以数据为中心的考量，弥合机器学习原型与生产系统之间的可靠性差距。

提出的方法

• 提出一个四阶段检查清单框架——数据、训练、测试和部署——每个阶段均包含以数据为中心的考量，以指导系统性开发。
• 引入以数据为中心的视角，将数据视为驱动模型性能、鲁棒性和可靠性在整个流程中的首要因素。
• 建议主动进行数据整理、自动化数据取证以及系统性数据清洗工具（包括 AutoML 和强化学习智能体）的使用，以提升数据质量。
• 倡导基于数据洞察的模型选择、鲁棒学习以及公平性感知的训练方法，而非依赖启发式方法。
• 提倡持续学习和基于流式数据的再训练，同时提供可操作、可解释的数据漂移应对措施，用于部署监控。
• 提供配套网站（https://www.vanderschaar-lab.com/dc-check/）以托管检查清单、工具以及随着以数据为中心的 AI 成熟而不断演进的最佳实践。

实验结果

研究问题

• RQ1 如何系统性地将以数据为中心的考量整合到机器学习流程的各个阶段，以提升系统的可靠性？
• RQ2 在数据整理、质量评估和漂移检测方面，哪些关键的以数据为中心的挑战会损害现实世界机器学习系统的性能？
• RQ3 如何利用数据驱动的洞察来指导模型选择、鲁棒性与公平性，而不仅依赖基准数据集上的性能表现？
• RQ4 在生产系统中，自动化数据取证、不确定性估计和分布外检测方面的研究与工具开发机会有哪些？
• RQ5 像 DC-Check 这样的基于检查清单的框架，如何帮助弥合机器学习原型与可靠、可投入生产的系统之间的差距？

主要发现

• DC-Check 提供了一个结构化、基于检查清单的框架，将以数据为中心的考量贯穿于从数据收集到部署的整个机器学习生命周期。
• 该框架强调，数据质量、整理和监控是防止现实环境中因偏差、数据漂移和泛化能力差而导致模型失效的关键因素。
• 作者指出，85% 的工业 AI 系统失败是由于数据或算法偏差所致，凸显了主动实施以数据为中心实践的必要性。
• 该框架强调，以数据为中心的 AI 并非对模型开发的替代，而是一种补充性视角，通过更深入理解数据来增强模型的可靠性。
• 配套网站作为持续演进的以数据为中心的工具与实践的活体资源，支持研究与工业界的采纳。
• DC-Check 支持对数据子组、不确定性以及分布外样本的系统性评估，从而在高风险应用场景中提升公平性与可信度。