[论文解读] Measuring Data

Margaret Mitchell, Alexandra Sasha Luccioni+8 more|arXiv (Cornell University)|Dec 9, 2022

Machine Learning and Data Classification被引用 7

一句话总结

本文将'数据测量'引入为一种系统性任务，以定量方式表征机器学习数据集在可定义维度（如数据规模、模态和偏见）上的特性，从而实现更优的数据集整理、审计与模型控制。通过统一自然语言处理、计算机视觉和伦理学领域的分散测量方法，作者建立了一个标准化、自动化的数据分析框架，以提升数据集透明度并减少模型的非预期行为。

ABSTRACT

We identify the task of measuring data to quantitatively characterize the composition of machine learning data and datasets. Similar to an object's height, width, and volume, data measurements quantify different attributes of data along common dimensions that support comparison. Several lines of research have proposed what we refer to as measurements, with differing terminology; we bring some of this work together, particularly in fields of computer vision and language, and build from it to motivate measuring data as a critical component of responsible AI development. Measuring data aids in systematically building and analyzing machine learning (ML) data towards specific goals and gaining better control of what modern ML systems will learn. We conclude with a discussion of the many avenues of future work, the limitations of data measurements, and how to leverage these measurement approaches in research and practice.

研究动机与目标

• 将'数据测量'正式确立为机器学习中一项独立的系统性任务，以量化数据集的构成与属性。
• 将自然语言处理、计算机视觉和伦理学领域现有的测量方法统一为共享的数据集分析框架。
• 通过提供可测量、可比较且可操作的数据特征，实现更优的数据集整理、审计与模型控制。
• 解决数据集缺乏系统性文档记录与分析的问题，尤其是当数据集规模超出人类理解范围时。
• 通过识别并缓解诸如过度代表性和嵌入式偏见等有害数据特征，支持负责任的AI发展。

提出的方法

• 基于物理科学与计量学原理，提出一种数据测量分类法，区分基本属性、衍生属性以及强度性/广延性属性。
• 识别关键可测量维度，如数据规模、模态（文本、图像等）、句子长度、图像分辨率及偏见指标。
• 在数据收集过程中引入实时测量，以指导采样决策并提升数据集质量。
• 将测量应用于模型输出（如语言模型生成结果），以检测学习到的模式与偏见。
• 将公平性与伦理研究中现有的度量指标（如偏见检测、数据质量评分）作为基础测量工具。
• 鼓励将元数据、时间序列及多模态交互作为额外的测量维度。

实验结果

研究问题

• RQ1 如何系统性地测量数据，以量化机器学习数据集中其构成与属性？
• RQ2 哪些通用维度与度量指标可用于跨不同领域与模态比较数据集？
• RQ3 实时数据测量如何改善数据集整理与训练过程中的模型性能？
• RQ4 以何种方式通过测量模型输出可揭示从训练数据中学到的偏见或非预期行为？
• RQ5 如何在机器学习研究与工业界中实现测量实践的标准化，以支持负责任的AI发展？

主要发现

• 数据测量通过提供可量化的数据纳入标准（如追踪各收集批次中平均句子长度或图像尺寸的变化），实现了系统性数据集整理。
• 数据测量支持跨数据集的比较与文档记录，尤其在数据集规模过大而无法人工检查时至关重要。
• 将测量应用于模型输出可揭示学习到的偏见与模式，例如在语言模型生成结果或目标检测标签中检测到的偏见。
• 将公平性、伦理学与自然语言处理研究中现有度量指标整合进统一的测量框架，增强了数据集的透明度与可审计性。
• 数据测量为更有效地控制模型学习内容提供了路径，降低了因未整理数据导致非预期行为的风险。
• 作者识别出一个关键研究空白：尽管存在大量测量技术，但目前在机器学习领域尚无共享的框架或术语体系用于系统性数据测量。