[论文解读] Record fusion: A learning approach

Alireza Heidari, George Michalopoulos+3 more|arXiv (Cornell University)|Jun 18, 2020

Data Quality and Management参考文献 27被引用 6

一句话总结

本文提出了一种基于学习的新型记录融合框架，采用分阶段加法模型将属性级、记录级和数据库级信号整合为每个单元的特征向量，从而实现精确的实体合并。当使用源信息时，该方法达到98%的平均精确率；在无源信息时，精确率仍达94%，相较于以往方法在无源信息条件下的精确率提升最高达45%。

ABSTRACT

Record fusion is the task of aggregating multiple records that correspond to the same real-world entity in a database. We can view record fusion as a machine learning problem where the goal is to predict the "correct" value for each attribute for each entity. Given a database, we use a combination of attribute-level, recordlevel, and database-level signals to construct a feature vector for each cell (or (row, col)) of that database. We use this feature vector alongwith the ground-truth information to learn a classifier for each of the attributes of the database. Our learning algorithm uses a novel stagewise additive model. At each stage, we construct a new feature vector by combining a part of the original feature vector with features computed by the predictions from the previous stage. We then learn a softmax classifier over the new feature space. This greedy stagewise approach can be viewed as a deep model where at each stage, we are adding more complicated non-linear transformations of the original feature vector. We show that our approach fuses records with an average precision of ~98% when source information of records is available, and ~94% without source information across a diverse array of real-world datasets. We compare our approach to a comprehensive collection of data fusion and entity consolidation methods considered in the literature. We show that our approach can achieve an average precision improvement of ~20%/~45% with/without source information respectively.

研究动机与目标

• 解决从多个来源合并冲突记录以生成单一、准确的实体表示的挑战。
• 改进现有依赖启发式投票或源可信度估计的记录融合方法，这些方法常导致次优结果。
• 开发一种稳健的端到端学习框架，利用所有可用信号——统计特性、完整性约束和源信息——而无需显式源可信度评分。
• 即使在缺乏源信息的情况下，也能实现高精度的记录融合，减少对昂贵人工介入解决的依赖。
• 展示数据增强和迭代优化在有限标注数据条件下提升模型性能的有效性。

提出的方法

• 该框架利用属性级、记录级和数据库级信号，为每个数据库单元构建特征向量。
• 采用一种新颖的分阶段加法模型，其中每个阶段将原始特征的子集与前一阶段的预测结果结合，形成更复杂的新特征空间。
• 在每个阶段，基于更新后的特征空间训练一个Softmax分类器，从而实现对原始数据的深度非线性变换。
• 该模型采用弱监督方法，通过利用完整性约束和统计特性自动融合记录。
• 应用数据增强技术生成合成聚类，通过增加训练多样性，提升低资源数据集上的性能。
• 通过模型反馈的迭代反馈回路，优化表示和预测结果，提升收敛性和准确性。

实验结果

研究问题

• RQ1 在不依赖源可信度评分的前提下，基于学习的方法是否能在记录融合中超越传统方法（如多数投票）？
• RQ2 分阶段加法模型在捕捉特征之间复杂非线性关系方面对记录融合的有效性如何？
• RQ3 在标注训练数据稀缺的情况下，数据增强能在多大程度上提升性能？
• RQ4 源信息的包含或排除如何影响融合模型的精确率和鲁棒性？
• RQ5 所提出的框架是否能在具有不同数据质量和结构的多样化现实世界数据集中保持高精确率？

主要发现

• 当使用源信息时，所提方法的平均精确率达到98%，相较于以往方法提升20%。
• 在无源信息条件下，方法仍可达到94%的平均精确率，相较于现有方法提升高达45%。
• 数据增强显著提升了低资源数据集上的性能，峰值性能出现在增强聚类与原始聚集群比为10%-30%时。
• 迭代算法在15次迭代内收敛至最优精确率，且不依赖于训练数据规模。
• 在50个随机种子下，模型在中位数性能上保持高水平，表明其在不同数据划分下的鲁棒性和稳定性。
• 该框架优于启发式方法（如多数投票），后者常因过度依赖简单聚合而产生不准确结果。