[论文解读] Explainable $k$-Means and $k$-Medians Clustering

Sanjoy Dasgupta, Nave Frost+2 more|arXiv (Cornell University)|Feb 28, 2020

Rough Sets and Fuzzy Logic参考文献 51被引用 20

一句话总结

本文提出了一种新颖的可解释聚类方法，利用小型决策树（阈值树）来诱导 $k$-均值和 $k$-中位数聚类，并提供可证明的近似保证。该文提出了 IMM 算法，在 $k$-中位数上实现 $O(k)$ 近似，在 $k$-均值上实现 $O(k^2)$ 近似，同时证明了 $ heta(/log k)$ 的匹配下界，首次为可解释无监督学习建立了理论保证。

ABSTRACT

Clustering is a popular form of unsupervised learning for geometric data. Unfortunately, many clustering algorithms lead to cluster assignments that are hard to explain, partially because they depend on all the features of the data in a complicated way. To improve interpretability, we consider using a small decision tree to partition a data set into clusters, so that clusters can be characterized in a straightforward manner. We study this problem from a theoretical viewpoint, measuring cluster quality by the $k$-means and $k$-medians objectives: Must there exist a tree-induced clustering whose cost is comparable to that of the best unconstrained clustering, and if so, how can it be found? In terms of negative results, we show, first, that popular top-down decision tree algorithms may lead to clusterings with arbitrarily large cost, and second, that any tree-induced clustering must in general incur an $Ω(\log k)$ approximation factor compared to the optimal clustering. On the positive side, we design an efficient algorithm that produces explainable clusters using a tree with $k$ leaves. For two means/medians, we show that a single threshold cut suffices to achieve a constant factor approximation, and we give nearly-matching lower bounds. For general $k \geq 2$, our algorithm is an $O(k)$ approximation to the optimal $k$-medians and an $O(k^2)$ approximation to the optimal $k$-means. Prior to our work, no algorithms were known with provable guarantees independent of dimension and input size.

研究动机与目标

• 开发一种既准确又可解释的聚类方法，通过使用小型决策树来定义聚类。
• 解决可解释聚类中缺乏理论保证的问题，特别是针对 $k$-均值和 $k$-中位数聚类。
• 分析通过树结构实现的可解释性与聚类质量之间的权衡，以标准目标函数进行度量。
• 建立树诱导聚类近似质量的可证明上下界。

提出的方法

• 使用具有 $k$ 个叶节点的阈值树对数据进行划分，其中每个叶节点对应一个聚类，决策基于单个特征上的轴对齐切割。
• 设计 IMM（迭代最大合并）算法，递归构建最小化 $k$-中位数和 $k$-均值代价的树结构。
• 应用几何和概率论证，将树诱导聚类的代价与最优聚类的代价进行比较。
• 通过深度分析将树结构与近似因子关联，表明代价随树深度增加而上升。
• 采用一种新颖的成本分解方法，将成本分解为内部节点的贡献，利用数据点与聚类中心之间的相关性。
• 通过随机超立方体中心和伪随机投影构造下界，证明 $ heta(\log k)$ 对于一般数据集是不可避免的。

实验结果

研究问题

• RQ1 具有 $k$ 个叶节点的阈值树能否产生其 $k$-中位数或 $k$-均值代价在最优无约束聚类的常数因子以内的聚类？
• RQ2 任何树诱导聚类在 $k$-中位数和 $k$-均值上可实现的最佳近似因子是多少？
• RQ3 自顶向下的决策树算法（如 ID3 或 CART）能否生成良好的可解释聚类，还是可能严重失败？
• RQ4 是否存在一种可证明高效的算法，能够构建具有有界近似误差的树诱导聚类？
• RQ5 近似因子是否依赖于数据维度，还是可以独立于输入大小和维度？

主要发现

• IMM 算法在 $k$-中位数上实现 $O(k)$ 近似，在 $k$-均值上实现 $O(k^2)$ 近似，其界取决于树的深度和数据结构。
• 当 $k=2$ 时，单个阈值切割即可实现常数因子近似，且该界几乎紧致。
• 任何树诱导聚类与最优聚类相比，至少需承受 $\\(log k)$ 的近似因子，即使在最佳情况下亦然。
• 该下界是紧致的，源于 $k$ 个直径为 $O(1)$ 且中心间距为 $\Omega(d)$ 的良好分离聚类，通过伪随机投影构造。
• 近似因子独立于数据维度和输入大小，使得该保证在不同设置下均具鲁棒性。
• 自顶向下的决策树算法可能产生相对于最优解代价任意大的聚类，凸显了像 IMM 这类专用算法的必要性。