[论文解读] k-Means Clustering of Lines for Big Data

Yair Marom, Dan Feldman|arXiv (Cornell University)|Mar 16, 2019

Machine Learning and Algorithms参考文献 33被引用 7

一句话总结

本文提出了ℝᵈ中k线中位数聚类问题的首个多项式时间近似方案（PTAS），在常数k、d和ε下实现O(n log n)时间内的(1+ε)-近似。该方法构建了一个大小为dk^O(k) log n / ε²的coreset，支持在M台机器上实现高效流式处理与分布式计算，内存、通信和更新成本接近对数级别，实验结果在Amazon EC2及计算机视觉与异常检测等实际应用中得到验证。

ABSTRACT

The input to the $k$-median for lines problem is a set $L$ of $n$ lines in $\mathbb{R}^d$, and the goal is to compute a set of $k$ centers (points) in $\mathbb{R}^d$ that minimizes the sum of squared distances over every line in $L$ and its nearest center. This is a straightforward generalization of the $k$-median problem where the input is a set of $n$ points instead of lines. We suggest the first PTAS that computes a $(1+ε)$-approximation to this problem in time $O(n \log n)$ for any constant approximation error $ε\in (0, 1)$, and constant integers $k, d \geq 1$. This is by proving that there is always a weighted subset (called coreset) of $dk^{O(k)}\log (n)/ε^2$ lines in $L$ that approximates the sum of squared distances from $L$ to any given set of $k$ points. Using traditional merge-and-reduce technique, this coreset implies results for a streaming set (possibly infinite) of lines to $M$ machines in one pass (e.g. cloud) using memory, update time and communication that is near-logarithmic in $n$, as well as deletion of any line but using linear space. These results generalized for other distance functions such as $k$-median (sum of distances) or ignoring farthest $m$ lines from the given centers to handle outliers. Experimental results on 10 machines on Amazon EC2 cloud show that the algorithm performs well in practice. Open source code for all the algorithms and experiments is also provided. This thesis is an extension of the following accepted paper: "$k$-Means Clustering of Lines for Big Data", by Yair Marom & Dan Feldman, Proceedings of NeurIPS 2019 conference, to appear on December 2019.

研究动机与目标

• 解决高维空间中k线中位数聚类缺乏高效近似算法的问题。
• 提出一种coreset构造方法，在保持任意k个中心到数据点的平方距离和不变的前提下，减小输入规模。
• 利用coreset与合并-归约技术，实现k线中位数的高效分布式与流式计算。
• 在无人机位姿估计与计算机视觉中的异常检测等实际应用中验证该方法。
• 将框架扩展至处理异常值及k中位数、鲁棒聚类等其他距离函数。

提出的方法

• 证明在ℝᵈ中k线中位数问题存在大小为dk^O(k) log n / ε²的(1+ε)-近似coreset。
• 采用敏感度采样方法，为每条线分配与其对最优代价贡献成比例的权重来计算coreset。
• 应用合并-归约技术，支持在M台机器上进行流式与分布式处理。
• 设计一种双准则近似算法，输出一组候选中心，从中可导出(1+ε)-近似解。
• 利用VC维界确保coreset在各种距离函数下的泛化性与稳定性。
• 基于coreset实现并评估基于EM的算法，以实现在云基础设施上的实际部署。

实验结果

研究问题

• RQ1 能否在n的次线性规模、k和1/ε的多项式规模下，为ℝᵈ中的k线中位数问题构造出(1+ε)-近似coreset？
• RQ2 该coreset能否用于设计保持近似对数级别内存、通信与更新时间的流式或分布式算法？
• RQ3 在异常检测任务中，与RANSAC和EM等标准启发式方法相比，coreset方法在准确率与稳定性方面表现如何？
• RQ4 该框架能否扩展至处理含异常值的k中位数与鲁棒聚类问题？
• RQ5 在多视角相机图像中进行3D位姿估计等实际应用中，coreset的实证性能如何？

主要发现

• 所提出的coreset构造方法在O(n log n)时间内实现k线中位数的(1+ε)-近似，coreset大小为dk^O(k) log n / ε²。
• coreset支持流式算法，每台机器仅需向主服务器发送O(log n)条线，实现接近对数级别的通信与更新时间。
• 在Amazon EC2的10台机器上进行的实验表明，coreset构造时间随机器数量增加近乎线性减少。
• 在异常检测任务中，当样本数m=1000时，coreset实现ε=0.4的误差，优于RANSAC在相同条件下的1.8误差。
• 在10%样本大小下，coreset方法平均检测到3.2个异常值（共6个），而RANSAC检测到的异常值不足1个，表明其采样质量更优。
• 可视化结果表明，coreset检测到的异常值在全局与局部均具有显著主导性，而RANSAC遗漏了关键异常值，说明该方法具有更高的鲁棒性与准确性。