[论文解读] DataCLUE: A Benchmark Suite for Data-centric NLP

Liang Xu, Jiacheng Liu+3 more|arXiv (Cornell University)|Nov 16, 2021

Topic Modeling参考文献 12被引用 10

一句话总结

该论文提出了DataCLUE，这是首个面向数据中心NLP的基准测试套件，旨在评估通过数据集优化提升模型性能的方法。论文提出了三种有效的基线方法——数据增强、基于遗忘信息的自举法以及动态标签校正，使Macro-F1最高提升5.7个百分点，优于人工标注的标签和当前最先进（SOTA）的方法，展示了数据中心AI在NLP领域所面临的挑战与潜力。

ABSTRACT

Data-centric AI has recently proven to be more effective and high-performance, while traditional model-centric AI delivers fewer and fewer benefits. It emphasizes improving the quality of datasets to achieve better model performance. This field has significant potential because of its great practicability and getting more and more attention. However, we have not seen significant research progress in this field, especially in NLP. We propose DataCLUE, which is the first Data-Centric benchmark applied in NLP field. We also provide three simple but effective baselines to foster research in this field (improve Macro-F1 up to 5.7% point). In addition, we conduct comprehensive experiments with human annotators and show the hardness of DataCLUE. We also try an advanced method: the forgetting informed bootstrapping label correction method. All the resources related to DataCLUE, including datasets, toolkit, leaderboard, and baselines, is available online at https://github.com/CLUEbenchmark/DataCLUE

研究动机与目标

• 为解决NLP领域数据为中心AI缺乏标准化基准的问题，该问题阻碍了数据集质量优化的进展。
• 提供一个全面的数据为中心方法评估平台，涵盖多样化任务、指标以及公开排行榜。
• 通过发布开源工具、基线方法以及包含真实噪声和标注挑战的精选数据集，推动研究发展。
• 通过实证验证，数据为中心的改进可超越模型为中心的提升，特别是在自动化数据整理方面。

提出的方法

• DataCLUE基于CLUE基准构建测试套件，整合了来自电商、应用描述和新闻标题等真实世界中的带噪声数据集，包含现实存在的标注错误。
• 提出了三种基线方法：使用回译技术进行数据增强，利用训练动态实现基于遗忘信息的标签校正，以及基于自举法的迭代标签校正。
• 遗忘信息方法在训练过程中识别出高遗忘样本，判断其为可能标注错误，并利用预测变化进行标签修正。
• 通过自举法实现标签的迭代校正，其中已校正的数据提升模型置信度，从而支持进一步的校正循环。
• 维护公开排行榜，以实现跨任务对数据为中心方法的可复现比较。
• 使用人工标注的验证集评估性能，但结果显示与自动化方法相比，性能提升有限。

实验结果

研究问题

• RQ1 自动化数据整理方法是否能在提升NLP模型性能方面超越昂贵的人工标注？
• RQ2 基于遗忘信息的标签校正与自举技术在识别和修复真实世界NLP数据集中噪声标签方面的有效性如何？
• RQ3 在数据为中心的NLP中，数据增强、标签校正与验证集重新划分的最佳组合策略是什么？
• RQ4 为何某些数据整理策略组合无法在性能上超越单一方法？其根本原因是什么？
• RQ5 在具有挑战性的现实世界NLP数据集中，人工标注的标签与自动化数据整理相比，性能提升的幅度有多大？

主要发现

• 提出的三种基线方法——数据增强、基于遗忘信息的校正以及自举法——在Macro-F1上相较基线模型最高提升了5.7个百分点，优于人工标注的标签。
• 基于遗忘信息的标签校正方法识别出高遗忘样本为可能标注错误，且其校正效果在早期训练阶段优于删除策略。
• 经过三次自举迭代后，性能提升趋于平稳，表明收益递减且存在对噪声校正过度拟合的风险。
• 人工标注的标签带来的性能增益有限，表明自动化数据整理比人工清洗更有效且更具可扩展性。
• 该基准极具挑战性：即使结合人工标注与先进方法，性能提升依然有限，凸显了现实世界数据质量问题的困难性。
• 标签校正方法未超越数据增强的效果，表明基线性能较强，且该基准能有效检测出有意义的性能提升。