[论文解读] DMLR: Data-centric Machine Learning Research -- Past, Present and Future

Luis Oala, Manil Maskey+36 more|TU/e Research Portal|Nov 21, 2023

Scientific Computing and Data Management被引用 6

一句话总结

本文提出了一套协调一致、由社区驱动的框架，旨在通过基础设施、数据集和协作生态系统推动以数据为中心的机器学习（DMLR）发展。它回顾了历史里程碑，介绍了当前的举措如Croissant和DataPerf，并呼吁持续的社区参与，以提升数据质量、互操作性及在科学、社会和工业应用中的影响力。

ABSTRACT

Drawing from discussions at the inaugural DMLR workshop at ICML 2023 and meetings prior, in this report we outline the relevance of community engagement and infrastructure development for the creation of next-generation public datasets that will advance machine learning science. We chart a path forward as a collective effort to sustain the creation and maintenance of these datasets and methods towards positive scientific, societal and business impact.

研究动机与目标

• 通过将以数据为中心的研究确立为核心科学事业，解决机器学习中长期被低估的数据工作问题。
• 通过社区参与和共享基础设施，建立可持续的公共数据集创建与维护生态系统。
• 通过标准化格式和基准测试，降低数据互操作性、可变性和协作方面的障碍。
• 通过将激励机制与高质量数据整理和重用对齐，促进长期的科学与社会影响。
• 将以数据为中心的机器学习确立为未来人工智能进步的核心支柱，与以模型为中心的方法相辅相成。

提出的方法

• 综合分析ICML 2023年首届DMLR研讨会及此前的社区会议，梳理当前DMLR的发展现状。
• 提出以社区主导的数据基础设施开发为核心的框架，包括Croissant等标准化数据格式。
• 引入DataPerf，一个由社区主导的基准测试套件，用于系统性评估数据集和以数据为中心的算法。
• 利用Kaggle、HuggingFace、OpenML等现有平台以及Lance等开源工具，提升数据的可访问性和性能。
• 通过共享治理模式和开源贡献，推动协作式数据整理。
• 通过提示驱动开发和自动化数据验证等工具，鼓励将以数据为中心的实践整合到机器学习工作流中。

实验结果

研究问题

• RQ1 如何将以数据为中心的机器学习研究制度化为可持续的科学追求？
• RQ2 需要哪些基础设施和标准，以提升机器学习社区间的数据互操作性和可重用性？
• RQ3 如何通过社区参与和共享所有权模式，提升公共数据集的质量和持久性？
• RQ4 哪些基准测试和评估指标最能有效评估以数据为中心的ML方法和数据集？
• RQ5 如何重新调整机器学习研究中的激励机制，使其与数据整理和质量同等重视，如同重视模型创新一样？

主要发现

• 本文指出，机器学习研究激励机制中存在长期失衡，模型开发被优先考虑，而数据整理工作则被忽视，这体现在诸如MNIST前身这类基础数据收集工作的引用次数极低。
• ImageNet和CIFAR等成功案例表明，高质量、精心整理的数据集能够推动机器学习的变革性进展。
• 新兴标准如Croissant和基准测试工具如DataPerf对于统一数据格式、实现以数据为中心方法的可重现评估至关重要。
• Kaggle、HuggingFace和OpenML等社区平台已成为数据共享与协作的事实标准枢纽，但数据可变性和兼容性问题仍未解决。
• 将以数据为中心的实践整合到机器学习工作流中（如提示驱动开发和自动化数据验证）可加速研究进程并提升模型鲁棒性。
• 采用集体化、社区驱动的方式进行数据集的创建与维护，对于实现人工智能在科学、社会和商业领域的长期影响至关重要。