[论文解读] Interpretable Clustering via Optimal Trees

Dimitris Bertsimas, Agni Orfanoudaki+1 more|arXiv (Cornell University)|Dec 3, 2018

Bayesian Modeling and Causal Inference被引用 21

一句话总结

本文提出了一种基于混合整数优化的可解释聚类方法——最优树可解释聚类（Interpretable Clustering via Optimal Trees, ICOT），该方法可构建全局最优的决策树用于无监督聚类，实现无需预设聚类数量的可解释、基于规则的聚类分配。ICOT 在合成数据集和真实数据集上的聚类质量优于 K-Means 和两步法树模型，同时提供明确、人类可读的决策规则以定义聚类成员关系。

ABSTRACT

State-of-the-art clustering algorithms use heuristics to partition the feature space and provide little insight into the rationale for cluster membership, limiting their interpretability. In healthcare applications, the latter poses a barrier to the adoption of these methods since medical researchers are required to provide detailed explanations of their decisions in order to gain patient trust and limit liability. We present a new unsupervised learning algorithm that leverages Mixed Integer Optimization techniques to generate interpretable tree-based clustering models. Utilizing the flexible framework of Optimal Trees, our method approximates the globally optimal solution leading to high quality partitions of the feature space. Our algorithm, can incorporate various internal validation metrics, naturally determines the optimal number of clusters, and is able to account for mixed numeric and categorical data. It achieves comparable or superior performance on both synthetic and real world datasets when compared to K-Means while offering significantly higher interpretability.

研究动机与目标

• 为解决标准聚类算法缺乏可解释性的问题，特别是在医疗场景中，可解释性对建立信任和推动临床应用至关重要。
• 开发一种将可解释性直接整合到聚类过程中的聚类方法，而非作为事后分析步骤。
• 通过优化过程内生地确定聚类数量，消除预设聚类数的需求。
• 在统一的可解释框架下，有效处理数值型和类别型数据类型。
• 通过优化内部验证指标（如紧凑性与分离度）来提升聚类质量。

提出的方法

• ICOT 将聚类问题建模为混合整数优化问题，将有监督场景下的最优分类树（Optimal Classification Trees, OCT）框架扩展至无监督设置。
• 该算法采用坐标下降法迭代优化树结构，在保持可解释性的同时逼近全局最优解。
• 通过初始化多个贪心树并执行局部搜索以优化分裂，最终选择聚类质量得分最高的树。
• 目标函数整合了如轮廓系数（Silhouette Metric）和邓恩指数（Dunn Index）等内部验证指标，以平衡类内密度与类间分离度。
• 特征分裂基于原始特征，确保聚类成员规则可直接基于输入变量进行解释。
• 该方法通过优化树结构自然确定聚类数量，避免用户指定 k 值。

实验结果

研究问题

• RQ1 能否开发一种基于全局最优树的聚类方法，在不依赖事后分析的前提下确保高度可解释性？
• RQ2 ICOT 在聚类质量与可解释性方面与 K-Means 和两步法树模型（如先 K-Means 后 OCT）相比表现如何？
• RQ3 ICOT 在处理非球形或非各向同性形状的数据时，能在多大程度上恢复有意义的聚类结构？
• RQ4 ICOT 是否能有效处理混合数值型与类别型特征，同时保持可解释性与性能？
• RQ5 在合成数据中，优化标准内部验证指标是否能产生比恢复真实标签更具意义的聚类分配？

主要发现

• 在 9 个数据集中的 4 个上，ICOT 的轮廓系数优于 K-Means；在 8 个数据集上，ICOT 的邓恩指数优于 K-Means，表明其聚类质量更优或相当。
• 在 EngyTime 数据集上，ICOT 取得了最高的轮廓系数（0.573）；在 Hepta 数据集上，ICOT 取得了最高的邓恩指数（1.076），均超过 K-Means 和 OCT。
• 在 Tetra 和 TwoDiamonds 数据集上，ICOT 在所有指标上均达到最佳可能得分，表明其在对称且高度分离的聚类上表现稳健。
• ICOT 在所有数据集上均持续优于两步法 OCT 方法，证明将可解释性整合到聚类过程中的优势。
• 在 Framingham 心脏病研究数据集中，ICOT 仅使用 4 个特征即识别出 7 个具有临床意义的聚类，且分裂规则清晰体现性别与 HDL 水平。
• 尽管在所有指标上未完全超越 K-Means，ICOT 通过提供明确的、基于规则的聚类定义，显著提升了可解释性，这对医疗应用至关重要。