[论文解读] Reuse and Adaptation for Entity Resolution through Transfer Learning

Saravanan Thirumuruganathan, Shameem Ahamed Puthiya Parambath+3 more|arXiv (Cornell University)|Sep 28, 2018

Data Quality and Management参考文献 43被引用 21

一句话总结

本文提出了一种用于实体消歧的迁移学习框架，通过重用并适配来自相关源数据集 $D_S$ 的标注训练数据，在目标数据集 $D_T$ 上训练高性能分类器，而 $D_T$ 仅有少量或没有标注数据。通过利用分布式表示对齐特征空间，并设计五种场景特定的算法，该方法在低数据场景下实现了显著的性能提升，展示了在12个多样化数据集上相对于基线方法的优越F值。

ABSTRACT

Entity resolution (ER) is one of the fundamental problems in data integration, where machine learning (ML) based classifiers often provide the state-of-the-art results. Considerable human effort goes into feature engineering and training data creation. In this paper, we investigate a new problem: Given a dataset D_T for ER with limited or no training data, is it possible to train a good ML classifier on D_T by reusing and adapting the training data of dataset D_S from same or related domain? Our major contributions include (1) a distributed representation based approach to encode each tuple from diverse datasets into a standard feature space; (2) identification of common scenarios where the reuse of training data can be beneficial; and (3) five algorithms for handling each of the aforementioned scenarios. We have performed comprehensive experiments on 12 datasets from 5 different domains (publications, movies, songs, restaurants, and books). Our experiments show that our algorithms provide significant benefits such as providing superior performance for a fixed training data size.

研究动机与目标

• 通过重用相关数据集中的标注数据，解决基于机器学习的实体消歧（ER）中特征工程和标注的高昂人力成本问题。
• 克服当源数据集与目标数据集在模式、数据分布或重复率上不同时，朴素迁移学习方法的局限性。
• 通过从相关源数据集 $D_S$ 向目标数据集 $D_T$ 转移知识，实现在低数据或零数据场景下的有效实体消歧。
• 设计一种可扩展、模块化的框架，可无缝集成到现有实体消歧流水线中，而无需进行重大架构修改。
• 通过启发式选择相关源数据集和自适应训练策略，识别并减轻负迁移风险。

提出的方法

• 使用分布式表示（如词嵌入）对来自多样化数据集的元组进行表示，将其映射到共享的标准特征空间。
• 将实体消歧的迁移学习问题形式化为处理三种关键分布偏移的问题：先验概率偏移、协变量偏移和类别条件分布偏移。
• 提出五种针对四种常见实体消歧场景的独立算法：(1) $D_T$ 中存在少量或无标注数据，(2) 重复率不匹配，(3) 特征分布不同，(4) 多源迁移。
• 应用实例加权和重加权技术，以纠正先验概率偏移，并提升跨领域模型的校准性能。
• 采用类Fellegi-Sunter的概率框架建模 $P(y|X)$，即使 $D_S$ 与 $D_T$ 仅松散相关，也能实现迁移。
• 集成启发式选择策略，以识别最具潜力的源数据集，降低负迁移风险。

实验结果

研究问题

• RQ1 通过重用来自相关源数据集 $D_S$ 的标注数据，能否在目标数据集 $D_T$ 上实现极少或无标注数据下的有效实体消歧性能提升？
• RQ2 如何利用分布式表示将具有不同模式和词汇表的异构数据集对齐到共享特征空间，以支持迁移学习？
• RQ3 在实体消歧中阻碍迁移的关键分布偏移（如先验概率、协变量、类别条件）是什么？如何加以缓解？
• RQ4 在哪些场景下迁移学习能带来可测量的性能增益？在哪些情况下会导致负迁移？
• RQ5 多源迁移学习是否能超越单源适应，实现性能提升？如何自动选择最有效的源数据集？

主要发现

• 在 $D_T$ 仅有少量或无标注数据的情况下，迁移学习显著提升了实体消歧性能，F值高于基线方法（如无迁移和朴素迁移）。
• 所提出的实例加权算法即使在小规模训练数据下也优于朴素迁移方法，且随着数据量增大性能进一步提升，但若源数据匹配不佳则可能出现性能下降。
• 多源迁移学习在性能上持续优于单源迁移，尤其在整合多个多样化但相关的源数据集时表现更优。
• 该框架使原本不可行的场景（如 $D_T$ 完全无标注数据）成为可能，通过利用甚至关系较远的数据集生成的相似性向量实现有效实体消歧。
• 负迁移虽罕见，但可通过所提出的启发式源数据集选择策略有效缓解，该策略能识别最相关且最具危害性的源数据集。
• 基于Fellegi-Sunter的建模方法即使在 $D_S$ 与 $D_T$ 模式或词汇表不同时仍可实现迁移，只要底层相似性模式保持一致。