[论文解读] DQI: Measuring Data Quality in NLP

Swaroop Mishra, Anjana Arunkumar+3 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 76被引用 7

一句话总结

本文提出了数据质量指数（DQI），一种通用公式，用于在数据创建过程中识别并减轻虚假偏差，从而衡量和提升NLP数据集的质量。结合对抗性过滤（AFLite）、可视化工具和自动化技术（TextFooler、Autofix），作者对SNLI数据集进行了重构，尽管在原始基准测试上的性能有所下降，但模型在分布外任务上的泛化能力显著提升。

ABSTRACT

Neural language models have achieved human level performance across several NLP datasets. However, recent studies have shown that these models are not truly learning the desired task; rather, their high performance is attributed to overfitting using spurious biases, which suggests that the capabilities of AI systems have been over-estimated. We introduce a generic formula for Data Quality Index (DQI) to help dataset creators create datasets free of such unwanted biases. We evaluate this formula using a recently proposed approach for adversarial filtering, AFLite. We propose a new data creation paradigm using DQI to create higher quality data. The data creation paradigm consists of several data visualizations to help data creators (i) understand the quality of data and (ii) visualize the impact of the created data instance on the overall quality. It also has a couple of automation methods to (i) assist data creators and (ii) make the model more robust to adversarial attacks. We use DQI along with these automation methods to renovate biased examples in SNLI. We show that models trained on the renovated SNLI dataset generalize better to out of distribution tasks. Renovation results in reduced model performance, exposing a large gap with respect to human performance. DQI systematically helps in creating harder benchmarks using active learning. Our work takes the process of dynamic dataset creation forward, wherein datasets evolve together with the evolving state of the art, therefore serving as a means of benchmarking the true progress of AI.

研究动机与目标

• 解决由于NLP数据集中存在虚假偏差而导致AI能力被高估的问题。
• 为数据集创建者开发一种主动方法，在数据创建阶段预防偏差，而非在事后进行修正。
• 通过系统性地提升数据质量，构建一个动态演化的基准测试框架，以真实反映AI进展。
• 通过主动学习和数据重构生成更难、无偏差的基准，提升模型泛化能力。
• 将数据创建过程从静态数据集扩展为整合质量监控和实时反馈的动态流程。

提出的方法

• 基于先前文献中的偏差线索，提出一种通用的DQI公式，通过词汇、句法和语义等多种特征衡量数据质量。
• 采用AFLite进行对抗性过滤，识别并从SNLI测试集中移除有偏差的样本，验证DQI的有效性。
• 提出一种数据创建范式，结合交互式可视化工具，帮助分析人员评估数据质量以及新样本对数据集的影响。
• 使用Autofix协助众包工作者实时生成更高质量的数据，从源头减少偏差。
• 应用TextFooler生成对抗性样本，暴露低质量数据，实现针对性修复。
• 在重构后的SNLI数据集上微调BERT和RoBERTa模型，评估其在分布外任务上的泛化性能提升。

实验结果

研究问题

• RQ1 通用的、基于组件的DQI能否有效衡量并指导NLP数据集中虚假偏差的减少？
• RQ2 将DQI与对抗性过滤（AFLite）结合，如何提升数据集质量与模型泛化能力？
• RQ3 可视化与自动化工具（Autofix、TextFooler）在众包数据创建过程中能在多大程度上提升数据质量？
• RQ4 通过DQI重构SNLI等基准数据集，是否能提升模型在分布外数据上的泛化能力？
• RQ5 DQI能否用于主动学习设置中，生成一系列逐步更难的基准，真实反映AI进展？

主要发现

• DQI公式能有效识别并衡量NLP数据集中多种类型的虚假偏差，包括词汇、句法和语义层面的痕迹。
• 结合AFLite应用DQI，成功从SNLI测试集中过滤出有偏差的样本，验证了该指数对已知偏差模式的敏感性。
• 可视化与自动化工具（Autofix、TextFooler）的整合，使分析人员与众包工作者能够实时检测并修正低质量数据。
• 在重构后的SNLI数据集上微调BERT和RoBERTa模型后，尽管在原始测试集上性能下降，但其在分布外基准上的泛化能力显著提升。
• 重构后的数据集揭示了模型与人类之间存在显著的性能差距，表明原始基准高估了模型能力。
• 基于DQI的数据创建范式，通过主动学习生成了一系列逐步更难的基准，真实反映了AI的进展。