[论文解读] Merging datasets through deep learning

Kavitha Srinivas, Abraham Gale+1 more|arXiv (Cornell University)|Sep 5, 2018

Face recognition and analysis参考文献 19被引用 6

一句话总结

本文提出了一种深度学习方法，通过学习向量嵌入来合并数据集，将语义上等价的实体名称（例如，'Douglas Adams' 和 'Adams, Douglas'）在向量空间中映射至相近位置。结合近似最近邻索引与一种新颖的难负样本三元组挖掘策略，该方法在人员数据上的 precision@1 达到 81%，在公司数据上的 precision@1 达到 75%，显著优于在难负样本占主导的数据集上采用的半难负样本挖掘方法。

ABSTRACT

Merging datasets is a key operation for data analytics. A frequent requirement for merging is joining across columns that have different surface forms for the same entity (e.g., the name of a person might be represented as "Douglas Adams" or "Adams, Douglas"). Similarly, ontology alignment can require recognizing distinct surface forms of the same entity, especially when ontologies are independently developed. However, data management systems are currently limited to performing merges based on string equality, or at best using string similarity. We propose an approach to performing merges based on deep learning models. Our approach depends on (a) creating a deep learning model that maps surface forms of an entity into a set of vectors such that alternate forms for the same entity are closest in vector space, (b) indexing these vectors using a nearest neighbors algorithm to find the forms that can be potentially joined together. To build these models, we had to adapt techniques from metric learning due to the characteristics of the data; specifically we describe novel sample selection techniques and loss functions that work for this problem. To evaluate our approach, we used Wikidata as ground truth and built models from datasets with approximately 1.1M people's names (200K identities) and 130K company names (70K identities). We developed models that allow for joins with precision@1 of .75-.81 and recall of .74-.81. We make the models available for aligning people or companies across multiple datasets.

研究动机与目标

• 解决在不同数据源中同一实体以不同表面形式（如姓名、公司名称）表示时的数据集合并挑战。
• 克服传统字符串相等性或相似性连接在数据管理系统中的局限性。
• 开发一种可扩展、可泛化的基于学习向量嵌入的跨数据集实体连接方法。
• 评估在深度度量学习中，难负样本三元组挖掘与半难负样本挖掘在姓名匹配任务中的有效性。
• 展示该方法在其他实体类型（如人脸）上的可迁移性，利用预训练模型。

提出的方法

• 训练一个孪生三元组网络，将实体名称嵌入到向量空间中，使得同一实体的不同表示形式在空间中彼此接近，而不同实体的表示形式则彼此远离。
• 使用近似最近邻（ANN）索引，在连接操作期间高效检索候选匹配项。
• 实现一种新颖的三元组挖掘策略，从最近邻集合中选择难负样本，以提升在难负样本占主导的数据集上的训练效果。
• 适配并比较多种损失函数，包括修改后的三元组损失，以优化嵌入质量。
• 利用 Wikidata 作为真实标签，构建人员和公司名称的训练与评估数据集。
• 通过在预训练嵌入上应用训练好的模型，评估模型在人脸识别数据集上的泛化能力。

实验结果

研究问题

• RQ1 在难负样本占主导的姓名匹配任务中，结合难负样本挖掘的深度度量学习是否能优于半难负样本挖掘？
• RQ2 所提出的向量嵌入方法在跨实体类型的数据库合并任务中，实现高精度与高召回率的有效性如何？
• RQ3 在一种实体类型（如人员）上训练的模型，能在多大程度上泛化到其他类型（如公司、人脸）？
• RQ4 使用近似最近邻索引是否能实现大规模数据集成中可扩展且高效的连接操作？
• RQ5 不同损失函数对实体名称匹配嵌入模型性能的影响如何？

主要发现

• 所提出的难负样本挖掘策略在人员数据集上实现了 81% 的 precision@1 和 81% 的召回率，显著优于半难负样本挖掘（precision@1: 61%，召回率: 63%）。
• 在公司名称上，该方法实现了 75% 的 precision@1 和 74% 的召回率，表明在较简单数据集上也表现出色。
• 人员数据的召回率从 3% 提升至 81%，公司数据的召回率从 16% 提升至 74%，表明模型有效学习了语义相似性。
• 人员数据的 precision@1 从 10% 提升至 81%，公司数据的 precision@1 从 26% 提升至 75%，表明训练后最近邻极有可能是真实匹配项。
• 该方法在人脸识别任务上也表现出良好的泛化能力：VGGFace2 达到 95% 的 precision@1 和 91% 的召回率，CasiaWebFace 达到 93% 的 precision@1 和 87% 的召回率。
• 研究结果证实，对于难负样本比例较高的数据集，难负样本挖掘具有显著优势，而半难负样本挖掘则表现欠佳。