[论文解读] Clustering processes

Daniil Ryabko|arXiv (Cornell University)|Apr 29, 2010

Computability, Logic, AI Algorithms参考文献 18被引用 17

一句话总结

本文提出了一种针对聚类过程的新型渐近一致性框架，其中每个数据点均来自一个平稳遍历的随机过程。证明了在极简的非参数假设下（包括无需独立性或参数建模约束），简单且时间复杂度为多项式的时间算法也能实现一致性——即正确地将来自同一分布的样本分组在一起。

ABSTRACT

The problem of clustering is considered, for the case when each data point is a sample generated by a stationary ergodic process. We propose a very natural asymptotic notion of consistency, and show that simple consistent algorithms exist, under most general non-parametric assumptions. The notion of consistency is as follows: two samples should be put into the same cluster if and only if they were generated by the same distribution. With this notion of consistency, clustering generalizes such classical statistical problems as homogeneity testing and process classification. We show that, for the case of a known number of clusters, consistency can be achieved under the only assumption that the joint distribution of the data is stationary ergodic (no parametric or Markovian assumptions, no assumptions of independence, neither between nor within the samples). If the number of clusters is unknown, consistency can be achieved under appropriate assumptions on the mixing rates of the processes. (again, no parametric or independence assumptions). In both cases we give examples of simple (at most quadratic in each argument) algorithms which are consistent.

研究动机与目标

• 形式化聚类过程中自然且通用的渐近一致性概念，要求来自同一分布的样本必须被分组在一起。
• 证明在极简假设下（特别是平稳性和遍历性）可实现一致性聚类，无需依赖独立性、参数模型或马氏结构。
• 提供计算高效的（多项式时间）算法，即使在聚类数量未知的情况下也能实现一致性。
• 将经典问题如同质性检验和过程分类统一于一个聚类框架中。
• 在聚类数量未知时，基于混合条件建立理论性能边界，使用一致集中不等式。

提出的方法

• 将聚类一致性定义为算法输出以概率收敛于真实聚类，其中来自同一分布的样本被正确分组。
• 使用基于过程实现中圆柱集经验频率的距离度量，该度量在遍历性条件下收敛于真实分布距离。
• 应用大数定律（遍历定理）以确保有限块的经验频率以几乎必然收敛于其真实概率。
• 通过对所有相关圆柱集和块长度使用并集界，控制经验频率与期望值之间的偏差。
• 当聚类数量未知时，利用混合条件（α-或β-混合）控制收敛速率并推导误差边界。
• 构建一种聚类算法（算法2），通过比较成对距离，并根据距离是否低于阈值将样本分配至聚类。

实验结果

研究问题

• RQ1 能否为由平稳遍历过程生成的数据定义一种无需参数或独立性假设的一致性聚类算法？
• RQ2 当聚类数量未知时，是否可在温和混合条件下实现渐近一致性？
• RQ3 在不同混合模式（α-与β-混合）下，聚类算法的收敛速率如何被界定？
• RQ4 所提出的框架能否推广经典统计问题，如同质性检验与过程分类？
• RQ5 在假设极简的前提下，实现一致性的计算与统计权衡是什么？

主要发现

• 在样本联合分布为平稳遍历的假设下，即使不进行参数建模或假设独立性，仍可实现一致聚类。
• 当聚类数量已知时，仅需平稳性和遍历性假设，即可通过一种简单算法实现一致性，其每对样本的时间复杂度最多为二次方。
• 当聚类数量未知时，若满足α-混合条件且已知衰减率，仍可实现一致性，误差边界依赖于混合系数。
• 误差概率由涉及混合系数和块数的若干项之和界定，在β-混合假设下可获得更紧的边界。
• 该框架将同质性检验（N=2）和过程分类（N=3, k=2）作为聚类问题的特例进行统一。
• 所提出的算法计算高效，可实现为多项式时间算法，其性能保证基于一致集中不等式推导得出。