[论文解读] Data Feedback Loops: Model-driven Amplification of Dataset Biases

Rohan Taori, Tatsunori Hashimoto|arXiv (Cornell University)|Sep 8, 2022

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本文形式化了机器学习中的数据反馈回路，其中模型生成的预测被重新用作训练数据，导致偏差放大。文章识别出一致校准（即模型表现得如同从训练分布中采样）是系统稳定的关键，并提出了针对非采样方法（如束搜索）的干预措施以稳定反馈系统。

ABSTRACT

Datasets scraped from the internet have been critical to the successes of large-scale machine learning. Yet, this very success puts the utility of future internet-derived datasets at potential risk, as model outputs begin to replace human annotations as a source of supervision. In this work, we first formalize a system where interactions with one model are recorded as history and scraped as training data in the future. We then analyze its stability over time by tracking changes to a test-time bias statistic (e.g. gender bias of model predictions). We find that the degree of bias amplification is closely linked to whether the model's outputs behave like samples from the training distribution, a behavior which we characterize and define as consistent calibration. Experiments in three conditional prediction scenarios - image classification, visual role-labeling, and language generation - demonstrate that models that exhibit a sampling-like behavior are more calibrated and thus more stable. Based on this insight, we propose an intervention to help calibrate and stabilize unstable feedback systems. Code is available at https://github.com/rtaori/data_feedback.

研究动机与目标

• 研究从互联网数据中衍生的机器学习数据集中偏差放大的风险，其中模型预测正越来越多地取代人工标注。
• 形式化一个反馈回路系统，其中模型输出被抓取作为未来训练数据，形成偏差的自我强化循环。
• 识别出一致校准（即模型采样自训练分布）作为稳定反馈回路中偏差放大的关键条件。
• 提出一种实用干预措施，以稳定不稳定的反馈系统，尤其针对非采样生成方法（如束搜索）。
• 在三个不同任务中验证理论：图像分类、视觉角色标注和语言生成，显示实证结果与理论边界一致。

提出的方法

• 定义一个数据反馈回路设置，其中时间 $ t $ 的模型预测被收集并用作 $ f_{t+1} $ 的训练数据，形成递归训练过程。
• 引入偏差度量 $ \rho(x, \hat{y}) $ 以量化测试时偏差（如性别偏差或毒性），并追踪其随时间的演变。
• 理论分析表明，偏差放大受 $ \frac{m+k}{m}\delta $ 限制，其中 $ m $ 为人工作标注数据，$ k $ 为模型标注数据，$ \delta $ 为校准误差。
• 建立模型若具备一致校准（即输出与训练分布相似）则表现出更低的偏差放大。
• 提出一种通过在束搜索与基于采样的生成之间插值来稳定束搜索的干预方法，利用采样行为的稳定性。
• 使用三角不等式和迭代期望的递归界定推导稳定性边界，关键引理表明 $ \delta_{n_t} \leq \delta_{n_0} $ 且 $ c_t \leq \frac{k}{m} $。

实验结果

研究问题

• RQ1 在什么条件下，数据反馈会导致机器学习系统中偏差放大的稳定或不稳定？
• RQ2 一致校准（即模型输出类似于训练分布）如何影响反馈回路的稳定性？
• RQ3 不同生成策略（如束搜索与采样）在偏差放大敏感性方面有多大差异？
• RQ4 能否通过利用采样行为的特性，对束搜索等非采样方法实施实用干预以实现稳定？
• RQ5 偏差放大的理论边界在图像标注和文本生成等多样化任务中，与实证观察的吻合程度如何？

主要发现

• 表现出采样行为的模型——即一致校准的模型——在数据反馈回路中更稳定，且更不易发生偏差放大。
• 在标签分布倾斜的图像分类任务中，反馈动态保持稳定，并与理论预测一致。
• 在视觉角色标注任务中，由于初始校准误差较高，性别偏差显著放大，与先前研究结果一致。
• 在语言生成任务中，反馈导致毒性与重复性增加，束搜索的不稳定性远高于基于采样的方法。
• 所提出的干预措施通过在束搜索中引入采样行为，成功稳定了束搜索。
• 偏差放大的理论边界 $ \frac{m+k}{m}\delta $ 得到实证验证，表明更高的人工标注数据量（$ m $）和更低的校准误差（$ \delta $）可减少偏差放大。