[论文解读] Active Clustering with Model-Based Uncertainty Reduction

Caiming Xiong, David Johnson+1 more|arXiv (Cornell University)|Feb 7, 2014

Face and Expression Recognition参考文献 42被引用 5

一句话总结

该论文提出了一种在线、基于样本的主动聚类框架，通过基于模型的不确定性减少方法选择成对约束，以最小化聚类不确定性。通过使用一阶泰勒展开分解不确定性减少——利用矩阵扰动理论计算梯度，使用聚类分配熵确定步长尺度——该方法高效识别出最具信息量的查询，在图像和UCI数据集上优于最先进方法，同时对噪声和未知聚类数量保持鲁棒性。

ABSTRACT

Semi-supervised clustering seeks to augment traditional clustering methods by incorporating side information provided via human expertise in order to increase the semantic meaningfulness of the resulting clusters. However, most current methods are \emph{passive} in the sense that the side information is provided beforehand and selected randomly. This may require a large number of constraints, some of which could be redundant, unnecessary, or even detrimental to the clustering results. Thus in order to scale such semi-supervised algorithms to larger problems it is desirable to pursue an \emph{active} clustering method---i.e. an algorithm that maximizes the effectiveness of the available human labor by only requesting human input where it will have the greatest impact. Here, we propose a novel online framework for active semi-supervised spectral clustering that selects pairwise constraints as clustering proceeds, based on the principle of uncertainty reduction. Using a first-order Taylor expansion, we decompose the expected uncertainty reduction problem into a gradient and a step-scale, computed via an application of matrix perturbation theory and cluster-assignment entropy, respectively. The resulting model is used to estimate the uncertainty reduction potential of each sample in the dataset. We then present the human user with pairwise queries with respect to only the best candidate sample. We evaluate our method using three different image datasets (faces, leaves and dogs), a set of common UCI machine learning datasets and a gene dataset. The results validate our decomposition formulation and show that our method is consistently superior to existing state-of-the-art techniques, as well as being robust to noise and to unknown numbers of clusters.

研究动机与目标

• 为解决被动半监督聚类的低效性，其中随机或预选约束可能冗余或有害。
• 通过智能选择最具信息量的成对约束，降低大规模聚类中的人工标注成本。
• 开发一种可扩展的在线主动聚类框架，能够在过程中动态适应不确定性与聚类结构。
• 在真实应用中确保对噪声人类响应和未知聚类数量的鲁棒性。
• 提供一种理论基础坚实、计算高效的不确定性驱动查询选择方法，用于谱聚类。

提出的方法

• 该方法使用一阶泰勒展开将期望不确定性减少分解为梯度项和步长尺度项。
• 通过将矩阵扰动理论应用于谱聚类的特征向量来估计梯度。
• 步长尺度通过局部标签熵计算，表示每个样本的不确定性减少潜力。
• 算法选择估计不确定性减少最高的样本，并在每次迭代中仅向用户呈现一个成对查询。
• 该框架支持参数化和非参数化模型，其中非参数化版本表现出更强的鲁棒性。
• 通过在查询过程中识别确定样本集合，动态发现聚类数量。

实验结果

研究问题

• RQ1 能否使用一阶近似和矩阵扰动理论有效建模谱聚类中的不确定性减少？
• RQ2 与随机或基于启发式的约束选择相比，基于模型的查询选择在聚类准确性和效率方面表现如何？
• RQ3 该方法在噪声人类响应或模糊真实标签条件下能否保持高性能？
• RQ4 在无先验知识的情况下，该方法在多大程度上能发现真实的聚类数量？
• RQ5 所提出的不确定性减少分解在理论和实证上是否在多样化数据集上均成立且有效？

主要发现

• 所提出的URASC+N方法在三个图像数据集（人脸、树叶、狗）和多个UCI数据集上，始终优于最先进主动与被动聚类技术。
• 在Dog数据集上，该方法显著优于所有基线方法，包括Active-HACC和ASC，后者在该数据集上完全失效。
• 该方法在2%模拟查询错误率下表现出鲁棒性，即使在噪声条件下仍保持对随机和被动方法的性能优势。
• 当初始聚类数量未知时，该方法在Face-1和Leaf数据集上收敛至与已知k情况无法区分的性能，表明其具备有效的动态聚类发现能力。
• 非参数化版本在可靠性上优于参数化版本，尤其在Leaf和Diabetes数据集上，参数化方法表现欠佳。
• 该方法计算效率高，支持在线、增量聚类，用户交互极少，适用于大规模和众包应用场景。