[论文解读] A Pre-trained Data Deduplication Model based on Active Learning

Shi, Haochen, Xinyao Liu+5 more|arXiv (Cornell University)|Jul 31, 2023

Data Quality and Management被引用 4

一句话总结

本文提出一种预训练数据去重模型（PDDM-AL），通过结合主动学习与R-Drop数据增强技术，提升语义层面的重复数据检测效果。该模型基于微调的Transformer架构，选择不确定性样本进行标注，从而在减少标注成本的同时，相较于基准数据集上的SOTA方法，将召回率提升了28%。

ABSTRACT

In the era of big data, the issue of data quality has become increasingly prominent. One of the main challenges is the problem of duplicate data, which can arise from repeated entry or the merging of multiple data sources. These "dirty data" problems can significantly limit the effective application of big data. To address the issue of data deduplication, we propose a pre-trained deduplication model based on active learning, which is the first work that utilizes active learning to address the problem of deduplication at the semantic level. The model is built on a pre-trained Transformer and fine-tuned to solve the deduplication problem as a sequence to classification task, which firstly integrate the transformer with active learning into an end-to-end architecture to select the most valuable data for deduplication model training, and also firstly employ the R-Drop method to perform data augmentation on each round of labeled data, which can reduce the cost of manual labeling and improve the model's performance. Experimental results demonstrate that our proposed model outperforms previous state-of-the-art (SOTA) for deduplicated data identification, achieving up to a 28% improvement in Recall score on benchmark datasets.

研究动机与目标

• 为解决在大数据环境中，仅靠句法相似性无法捕捉真实重复数据的语义级数据去重挑战。
• 通过集成主动学习，降低训练深度学习模型进行去重任务时的人工标注成本。
• 通过R-Drop数据增强技术提升模型的鲁棒性与性能，以在有限标注数据下稳定训练过程。
• 建立一种新颖的端到端框架，整合预训练Transformer、主动学习与数据增强技术，用于去重任务。

提出的方法

• 微调预训练Transformer模型，将去重任务视为序列到分类的任务，以实现对数据对的上下文与语义理解。
• 采用基于不确定性的主动学习策略，迭代选择最具信息量的未标注样本进行人工标注，从而最小化标注工作量。
• 在每次主动学习轮次中集成R-Drop，通过鼓励模型对增强数据的预测保持一致性，实现正则化并提升泛化能力。
• 通过标记关键属性（如书籍版本）注入领域特定知识，以增强模型对关键语义特征的关注。
• 采用选择器-学习者循环机制：模型选择不确定性样本，专家进行标注，模型在迭代中自适应地重新训练。
• 采用双分支架构编码成对记录，并计算相似度得分以进行重复数据分类。

实验结果

研究问题

• RQ1 主动学习是否能显著减少训练高性能数据去重模型所需的标注样本数量？
• RQ2 基于不确定性的采样策略与随机采样相比，在选择有信息量的数据用于去重任务时表现如何？
• RQ3 在标注数据有限的情况下，R-Drop在多大程度上提升了模型的鲁棒性与性能？
• RQ4 预训练Transformer模型是否能有效捕捉结构化数据中的语义关系以实现去重？
• RQ5 注入领域特定的属性标记是否能增强模型检测语义重复的能力？

主要发现

• 基于不确定性的主动学习策略在基准数据集上的召回率较SOTA模型高出28%。
• 在MusicBrainz-20-A01数据集上，经过5,000对标注样本和不确定性采样后，模型达到0.992的召回率与0.974的F1值。
• 在GeographicSettlements数据集上，经过三轮主动学习后，不确定性选择策略的F1值比随机选择策略高出3%。
• R-Drop提升了模型的稳定性与泛化能力，即使在存在噪声或模糊数据的情况下，也能实现一致的性能提升。
• 引入领域感知的属性标记增强了模型对关键语义特征（如书籍版本）的关注，从而提高了检测准确性。
• 结合预训练模型、主动学习与R-Drop的端到端框架，在减少标注成本的同时，显著提升了所有三个数据集上的F1与召回率表现。