[论文解读] Near-Optimal Explainable $k$-Means for All Dimensions

Moses Charikar, Lunjia Hu|arXiv (Cornell University)|Jun 29, 2021

Explainable Artificial Intelligence (XAI)参考文献 55被引用 6

一句话总结

本文提出了一种高效的可解释 $k$-均值聚类算法，其竞争比为 $k^{1-2/d} \cdot \mathrm{poly}(d\log k)$，在所有维度 $d \geq 2$ 下均优于先前的 $O(k\log k)$ 边界。该方法通过对任意聚类进行后处理，利用轴对齐超平面构建决策树，且该边界的近似最优性已通过多对数因子得到证明。

ABSTRACT

Many clustering algorithms are guided by certain cost functions such as the widely-used $k$-means cost. These algorithms divide data points into clusters with often complicated boundaries, creating difficulties in explaining the clustering decision. In a recent work, Dasgupta, Frost, Moshkovitz, and Rashtchian (ICML 2020) introduced explainable clustering, where the cluster boundaries are axis-parallel hyperplanes and the clustering is obtained by applying a decision tree to the data. The central question here is: how much does the explainability constraint increase the value of the cost function? Given $d$-dimensional data points, we show an efficient algorithm that finds an explainable clustering whose $k$-means cost is at most $k^{1 - 2/d}\,\mathrm{poly}(d\log k)$ times the minimum cost achievable by a clustering without the explainability constraint, assuming $k,d\ge 2$. Taking the minimum of this bound and the $k\,\mathrm{polylog} (k)$ bound in independent work by Makarychev-Shan (ICML 2021), Gamlath-Jia-Polak-Svensson (2021), or Esfandiari-Mirrokni-Narayanan (2021), we get an improved bound of $k^{1 - 2/d}\,\mathrm{polylog}(k)$, which we show is optimal for every choice of $k,d\ge 2$ up to a poly-logarithmic factor in $k$. For $d = 2$ in particular, we show an $O(\log k\log\log k)$ bound, improving near-exponentially over the previous best bound of $O(k\log k)$ by Laber and Murtinho (ICML 2021).

研究动机与目标

• 通过决策树强制实施轴对齐超平面边界，解决 $k$-均值聚类中的可解释性挑战。
• 与无约束的 $k$-均值聚类相比，降低因可解释性带来的成本增加，即竞争比。
• 弥合低维数据下竞争比边界的差距，特别是在 $d < \log k$ 时。
• 建立紧致的下界，证明所提出的竞争比在多对数因子范围内达到最优。

提出的方法

• 通过递归使用轴对齐超平面划分数据，对任意 $k$-聚类进行后处理，构建具有 $k$ 个叶节点的决策树。
• 采用一种递归划分策略，平衡聚类成本与树深度，结合几何与概率论证。
• 基于 $k$-聚类与区间覆盖的递归分解，通过递归不等式界定成本增加。
• 应用类似 Vitali 的覆盖引理，选择非重叠区间，控制树构建过程中的成本放大。
• 引入关键不等式 $z_1 + z_2 \leq z + u\Delta$ 与 $\alpha(z) = z^{1+2u}$，以界定递归步骤中的成本增加。
• 将所提算法与独立研究中的现有方法结合，对所有 $k,d \geq 2$ 统一获得 $k^{1-2/d} \cdot \mathrm{poly}(\log k)$ 的边界。

实验结果

研究问题

• RQ1 我们能否在所有维度 $d \geq 2$ 下，实现优于 $O(k\log k)$ 的可解释 $k$-均值的竞争比？
• RQ2 竞争比 $k^{1-2/d} \cdot \mathrm{poly}(d\log k)$ 是否对所有 $k,d \geq 2$ 都是近似最优的？
• RQ3 当 $d=2$ 时，最佳可能的竞争比是多少？是否能显著优于 $O(k\log k)$？
• RQ4 当 $d \ll \log k$ 时，竞争比如何随维度 $d$ 变化？

主要发现

• 所提算法在 $k$-均值成本上实现了 $k^{1-2/d} \cdot \mathrm{poly}(d\log k)$ 的竞争比，优于所有 $d \geq 2$ 下的先前 $O(k\log k)$ 边界。
• 当 $d=2$ 时，竞争比为 $O(\log k \log \log k)$，相比先前的 $O(k\log k)$ 边界实现了近乎指数级的改进。
• 通过构造匹配的下界，证明了 $k^{1-2/d} \cdot \mathrm{poly}(d\log k)$ 边界在 $k$ 的多对数因子范围内是紧致的，即最优。
• 当 $d = \Omega(\log k)$ 时，通过与独立研究结合，竞争比进一步优化为 $k^{1-2/d} \cdot \mathrm{poly}(\log k)$。
• 证明了竞争比的下界为 $\Omega(k^{1-2/d} / \mathrm{poly}(\log k))$，确认其近似最优性。
• 分析表明，竞争比中 $k$ 与 $d$ 之间的权衡是紧致的，其中指数 $1-2/d$ 为最优。