[论文解读] Coresets for Relational Data and The Applications

Jiaxiang Chen, Qingyuan Yang+2 more|arXiv (Cornell University)|Oct 9, 2022

Advanced Clustering Algorithms Research被引用 4

一句话总结

该论文提出了一种新颖的关联数据共核构造方法，采用“聚合树与伪立方体”技术，实现在无需物化完整设计矩阵的前提下，对大规模、连接优化的数据库进行高效机器学习。该方法为聚类、逻辑回归和SVM等任务提供了可证明的(ε₁, ε₂)-共核保证，显著降低运行时间的同时保持了高优化质量。

ABSTRACT

A coreset is a small set that can approximately preserve the structure of the original input data set. Therefore we can run our algorithm on a coreset so as to reduce the total computational complexity. Conventional coreset techniques assume that the input data set is available to process explicitly. However, this assumption may not hold in real-world scenarios. In this paper, we consider the problem of coresets construction over relational data. Namely, the data is decoupled into several relational tables, and it could be very expensive to directly materialize the data matrix by joining the tables. We propose a novel approach called ``aggregation tree with pseudo-cube'' that can build a coreset from bottom to up. Moreover, our approach can neatly circumvent several troublesome issues of relational learning problems [Khamis et al., PODS 2019]. Under some mild assumptions, we show that our coreset approach can be applied for the machine learning tasks, such as clustering, logistic regression and SVM.

研究动机与目标

• 为解决在完整表连接计算成本过高的大规模关联数据中构造共核的挑战。
• 实现在规范化、解耦的关联数据库中高效进行机器学习，而无需显式物化完整的设计矩阵。
• 为关联设置中的共核提供理论保证，特别是针对聚类、逻辑回归和SVM等ERM问题。
• 克服关联聚合查询（如FAQ-AI）的NP难问题，这些问题是传统共核构造的障碍。
• 设计一种可扩展的自底向上共核构造流水线，可与数据库系统高效集成。

提出的方法

• 提出一种‘聚合树与伪立方体’框架，通过关系表的分层聚合自底向上构建共核。
• 使用伪立方体数据结构，紧凑地表示并计算连接路径上的聚合函数，而无需物化完整的等值连接。
• 应用带集中界限的加权采样，确保在损失函数满足弱假设条件下，达到(ε₁, ε₂)-共核质量。
• 采用递归共核构造策略，每一层通过损失敏感采样，聚合子节点的共核信息。
• 通过保持损失函数在连接过程中的结构，与现有共核算法（如k-means、逻辑回归）集成。
• 利用定理1和定理2，形式化界定了共核质量与采样复杂度，确保以高概率(1−λ)正确。

实验结果

研究问题

• RQ1 我们能否在不物化完整设计矩阵的前提下，为关联数据构造共核，同时保持机器学习任务的优化质量？
• RQ2 如何在不进行完整等值连接的前提下，高效计算规范化关联表上的聚合函数（如聚类分配）？
• RQ3 在关联数据库中，特别是面对NP难查询评估时，共核能提供何种理论保证？
• RQ4 所提出的方法能否在真实关联数据上实现可扩展性，同时优于均匀采样和完整矩阵基线？
• RQ5 与现有关联学习方法相比，聚合树结合伪立方体在运行时间和优化质量方面表现如何？

主要发现

• 所提出的RCore方法在SVM任务中（Q1），在共核大小为1000时，近似值（Approx.）降至0.02，显著优于均匀采样和Ori-Gon基线（Q1）。
• 在SVM任务中，RCore将端到端运行时间缩短至531秒（共核大小为1000），而原始方法超过21,600秒（Q1）。
• 在Q4（Favorita）的k_c-means聚类任务中，RCore在共核大小为800时，近似值（Approx.）为0.16，优于均匀采样（2.23）和Ori-Gon（1.12）。
• 该方法具有高效可扩展性：RCore的运行时间随共核大小呈次线性增长，而原始方法和Ori-Gon因需构建完整矩阵，运行时间呈线性或更差增长。
• 理论分析表明，以高概率(1−λ)下，共核可实现(ε₁, ε₂)-共核质量，采样复杂度为O(k²md)。
• 该方法通过使用伪立方体在连接路径上高效压缩并计算聚合，避免了关联聚合的NP难问题。