[论文解读] A domain-specific language for describing machine learning datasets

Joan Giner-Miguelez, Abel Gómez+1 more|arXiv (Cornell University)|Jul 5, 2022

Scientific Computing and Data Management参考文献 25被引用 4

一句话总结

本文提出一种用于形式化描述机器学习数据集的领域特定语言（DSL），能够捕捉数据结构、数据溯源以及偏见与公平性等社会性问题。该DSL作为Visual Studio Code插件实现，支持机器可读的数据集文档，有助于自动化分析、数据集比较以及提升机器学习研究的可复现性。

ABSTRACT

Datasets play a central role in the training and evaluation of machine learning (ML) models. But they are also the root cause of many undesired model behaviors, such as biased predictions. To overcome this situation, the ML community is proposing a data-centric cultural shift where data issues are given the attention they deserve, and more standard practices around the gathering and processing of datasets start to be discussed and established. So far, these proposals are mostly high-level guidelines described in natural language and, as such, they are difficult to formalize and apply to particular datasets. In this sense, and inspired by these proposals, we define a new domain-specific language (DSL) to precisely describe machine learning datasets in terms of their structure, data provenance, and social concerns. We believe this DSL will facilitate any ML initiative to leverage and benefit from this data-centric shift in ML (e.g., selecting the most appropriate dataset for a new project or better replicating other ML results). The DSL is implemented as a Visual Studio Code plugin, and it has been published under an open source license.

研究动机与目标

• 解决机器学习数据集缺乏标准化、形式化文档的问题，该问题阻碍了可复现性与公平性。
• 通过支持机器可处理的数据集描述，克服基于自然语言文档（如Datasheets for Datasets）的局限性。
• 通过形式化数据集元数据（包括社会影响、质量度量和溯源信息）来支持以数据为中心的机器学习实践。
• 利用模型驱动工程技术，实现数据集的自动化分析、比较与选择。
• 通过支持基于结构化数据集需求的搜索与发现，促进未来数据集市场的建设。

提出的方法

• 设计一种领域特定语言（DSL），用于以结构化语法建模数据集，涵盖数据结构、溯源信息、质量度量和社会关切。
• 将DSL实现为Visual Studio Code插件，提供完整的语言支持（语法高亮、验证、自动补全）。
• 采用模型驱动工程（MDE）原则，将数据集描述视为一等模型，支持使用现有MDE工具进行操作。
• 支持数据集比较、质量验证以及从DSL模型生成文档/代码等操作。
• 集成不确定性建模，以正式表达不确定的数据属性或溯源信息。
• 规划未来扩展，用于描述机器学习模型和完整的机器学习流水线，从而实现对模型行为的端到端分析。

实验结果

研究问题

• RQ1 领域特定语言（DSL）如何形式化机器学习数据集的关键方面，包括结构、溯源和影响力？
• RQ2 与自然语言指南相比，DSL在提升数据集文档的完整性和机器可读性方面能达到何种程度？
• RQ3 通过将数据集表示为结构化模型，可以实现哪些自动化操作（如比较、搜索、验证）？
• RQ4 如何在DSL中正式表达数据集元数据中的不确定性（如模糊的溯源或质量信息）？
• RQ5 DSL在支持未来数据集市场或提升机器学习研究可复现性方面可能发挥何种作用？

主要发现

• DSL成功建模了数据集的核心维度——结构、溯源、质量度量和社会关切，其覆盖范围超越了自然语言文档的局限。
• 对现有数据集的手动分析揭示了文档中的显著缺失，如缺少统计摘要和不完整的溯源信息，而DSL有助于识别并形式化这些内容。
• DSL支持机器可处理的数据集描述，为跨数据集的自动化验证、比较与搜索铺平了道路。
• 作为VS Code插件的实现为数据集作者提供了实用支持，整合了现代IDE功能，提升了可用性。
• DSL基于模型的架构使其具备良好的可扩展性，未来可支持不确定性建模、使用权限管理，以及与机器学习模型描述的集成。
• 初步评估表明，DSL能够识别现有数据集中缺失或不一致的信息，从而推动更完善的文档实践。