[论文解读] Fast Learning from Distributed Datasets without Entity Matching

Giorgio Patrini, Richard Nock+2 more|arXiv (Cornell University)|Mar 13, 2016

Data Quality and Management参考文献 6被引用 5

一句话总结

本文提出了一种新颖的端到端方法，用于从分布式数据集中实现快速、私密的监督学习，且无需进行实体匹配。通过利用Rademacher观测值（rados），该方法绕过了计算成本高昂且通常不准确的实体解析步骤，在垂直划分的数据设置中（即不存在共享ID时）实现了显著降低的时间与空间复杂度，同时保持了相当或更优的性能表现。

ABSTRACT

Consider the following data fusion scenario: two datasets/peers contain the same real-world entities described using partially shared features, e.g. banking and insurance company records of the same customer base. Our goal is to learn a classifier in the cross product space of the two domains, in the hard case in which no shared ID is available -- e.g. due to anonymization. Traditionally, the problem is approached by first addressing entity matching and subsequently learning the classifier in a standard manner. We present an end-to-end solution which bypasses matching entities, based on the recently introduced concept of Rademacher observations (rados). Informally, we replace the minimisation of a loss over examples, which requires to solve entity resolution, by the equivalent minimisation of a (different) loss over rados. Among others, key properties we show are (i) a potentially huge subset of these rados does not require to perform entity matching, and (ii) the algorithm that provably minimizes the rado loss over these rados has time and space complexities smaller than the algorithm minimizing the equivalent example loss. Last, we relax a key assumption of the model, that the data is vertically partitioned among peers --- in this case, we would not even know the existence of a solution to entity resolution. In this more general setting, experiments validate the possibility of significantly beating even the optimal peer in hindsight.

研究动机与目标

• 为解决在各方之间不存在共享标识符的分布式数据集上训练准确分类器的挑战。
• 消除实体匹配的需求，因为实体匹配在现实世界的数据融合场景中计算成本高且易出错。
• 开发一种可扩展、通信高效的机器学习框架，通过避免原始数据传输来保护隐私。
• 证明聚合统计量（rados）足以最小化标准损失函数，如平方损失和岭正则化损失。
• 将分布式学习的适用范围从垂直划分的数据扩展到未知数据重叠的一般性设置。

提出的方法

• 该方法用Rademacher观测值（rados）上的最小化替代标准的样本级损失最小化，rados是数据块子集上的聚合统计量。
• 每个参与方在本地通过在固定大小的数据块上对特征向量和标签求和来构建rados，从而实现高效且私密的计算。
• 中心学习者仅接收rados（而非原始样本），从而降低了通信与存储成本，同时保持了模型的准确性。
• 该方法利用了rados是极小化带岭正则化的平方损失的充分统计量的事实，如定理3所示。
• 该算法具有可证明的高效性：时间与空间复杂度在样本数量上为次线性，优于传统的基于实体解析的流水线。
• 该方法被扩展至数据重叠未知的一般分布式设置，放宽了严格的垂直划分假设。

实验结果

研究问题

• RQ1 我们能否在不进行实体匹配的情况下，从分布式数据集中实现准确的监督学习？
• RQ2 Rademacher观测值（rados）是否足以恢复与在完全连接数据上训练相同的模型性能？
• RQ3 与传统的基于实体解析的流水线相比，所提出的方法是否降低了计算与通信成本？
• RQ4 当各方之间的数据重叠未知或部分缺失时，该方法是否仍可应用？
• RQ5 在rados上的交叉验证的统计行为与在原始样本上的相比如何？

主要发现

• 所提出的方法在无需任何匹配步骤的情况下，实现了与全实体解析后训练的模型相当的分类性能。
• 基于rados的学习算法的时间与空间复杂度显著低于基于实体解析的方法，尤其在大规模场景下表现更优。
• rados通过将表示大小从 $m \times d$ 压缩至 $m^\star \times d$ 实现了数据压缩，其中 $m^\star \ll m$。
• 在实验中，该方法甚至优于事后观察中表现最好的单个参与方，证明了无需匹配即可实现数据融合的优势。
• 该方法对未知数据重叠具有鲁棒性，在严格垂直划分之外的一般分布式设置中也能有效运行。
• 理论分析证实，rados是极小化带岭正则化的平方损失的充分统计量，从而确保了模型的一致性。