[论文解读] Information theoretic model validation for clustering

Joachim M. Buhmann|arXiv (Cornell University)|Jun 2, 2010

Bayesian Methods and Mixture Models参考文献 12被引用 6

一句话总结

该论文提出了一种基于信息论的聚类模型验证框架，通过将聚类解的近似集作为通信码，依据模型对数据噪声的鲁棒性与信息量来选择模型。核心贡献是引入了近似集容量（Approximation Set Capacity, ASC），用于量化从聚类代价函数中可可靠提取的比特数，从而实现基于最大鲁棒性及对未见数据泛化能力的模型选择。

ABSTRACT

Model selection in clustering requires (i) to specify a suitable clustering principle and (ii) to control the model order complexity by choosing an appropriate number of clusters depending on the noise level in the data. We advocate an information theoretic perspective where the uncertainty in the measurements quantizes the set of data partitionings and, thereby, induces uncertainty in the solution space of clusterings. A clustering model, which can tolerate a higher level of fluctuations in the measurements than alternative models, is considered to be superior provided that the clustering solution is equally informative. This tradeoff between \emph{informativeness} and \emph{robustness} is used as a model selection criterion. The requirement that data partitionings should generalize from one data set to an equally probable second data set gives rise to a new notion of structure induced information.

研究动机与目标

• 为在存在噪声数据的情况下解决最优聚类模型及其模型复杂度的选择挑战。
• 将关注点从选择‘正确’的聚类模型，转向基于数据驱动的鲁棒性与泛化能力的算法化模型验证。
• 开发一种平衡信息量与鲁棒性的模型选择准则，避免过拟合与欠拟合。
• 提供一种基于信息论的系统性替代方案，以替代传统的正则化与模型选择准则（如AIC/BIC）。
• 通过基于聚类解通信容量的统一度量，实现对多样化聚类模型的比较。

提出的方法

• 将聚类解视为通信码，其中解的近似集代表噪声数据下的码字。
• 使用经验风险近似（Empirical Risk Approximation, ERA）定义在经验风险最小化器成本阈值γ内的聚类解集合。
• 将近似集容量（ASC）定义为在数据噪声下可可靠区分的聚类解的最大数量，其来源于近似集的大小。
• 应用最大熵原理对最优近似集中统计上不可区分的解进行平均，从而导出基于自由能的延续方法。
• 使用两个独立同分布的数据样本（X¹, X²）来估计解空间的不确定性，利用遍历性将系综平均替换为时间平均。
• 选择使ASC最大的正则化参数γ⋆，以确保模型表达能力与鲁棒性之间的最优权衡。

实验结果

研究问题

• RQ1 如何对聚类模型进行算法化验证，以确保其对未见数据的泛化能力？
• RQ2 是否存在一种系统性的信息论准则，用于选择能平衡鲁棒性与信息量的聚类数？
• RQ3 如何利用数据测量中的不确定性来量化聚类假设类别的分辨率？
• RQ4 模型复杂度、噪声容忍度与聚类解中可可靠提取比特数之间存在何种关系？
• RQ5 如何在不依赖数据分布参数假设的前提下实现模型选择？

主要发现

• 近似集容量（ASC）提供了一种任务敏感的信息度量，用于量化在数据噪声下可可靠区分的聚类解数量。
• ASC在最优正则化参数γ⋆处达到最大值，该参数选择出鲁棒性与信息量之间最佳权衡的聚类模型。
• 基于最大熵原理对最优近似集进行模型平均，可导出自由能形式，从而提升稳定性和泛化能力。
• 该方法避免依赖参数化似然估计，因此适用于P(X)难以计算的高维或复杂数据结构。
• 基于ASC的模型选择优于传统准则（如AIC与BIC），因其通过解空间分辨率直接度量对数据波动的鲁棒性。
• 该框架适用于任何具有噪声输入的组合优化或连续优化问题，不限于聚类任务。