[论文解读] Interactive Bayesian Hierarchical Clustering

Sharad Vikram, Sanjoy Dasgupta|arXiv (Cornell University)|Feb 10, 2016

Advanced Clustering Algorithms Research参考文献 31被引用 7

一句话总结

本文提出了一种交互式贝叶斯层次聚类方法，通过马尔可夫链蒙特卡洛（MCMC）采样将用户指定的三元组约束（如（\{a,b\},c），表示a和b应聚类在一起而不包括c）整合到狄利克雷扩散树（DDT）框架中。通过主动选择方差较高的子树以获取用户反馈，该算法能高效收敛至目标层次结构，在真实数据集（如MNIST和Fisher Iris）上的数据似然性和三元组距离方面优于基线DDT和平均链接法。

ABSTRACT

Clustering is a powerful tool in data analysis, but it is often difficult to find a grouping that aligns with a user's needs. To address this, several methods incorporate constraints obtained from users into clustering algorithms, but unfortunately do not apply to hierarchical clustering. We design an interactive Bayesian algorithm that incorporates user interaction into hierarchical clustering while still utilizing the geometry of the data by sampling a constrained posterior distribution over hierarchies. We also suggest several ways to intelligently query a user. The algorithm, along with the querying schemes, shows promising results on real data.

研究动机与目标

• 解决无监督层次聚类难以与用户特定分组偏好对齐的挑战。
• 克服现有约束聚类方法的局限性，这些方法大多局限于平坦聚类，无法处理层次结构。
• 设计一种贝叶斯框架，结合数据几何结构与通过三元组约束进行的增量用户反馈，以优化层次树结构。
• 开发智能查询策略，在最小化用户工作量的同时最大化收敛速度至期望的层次结构。
• 实现交互式、用户参与的层次聚类，通过约束后验采样在数据驱动结构与用户意图之间取得平衡。

提出的方法

• 采用狄利克雷扩散树（DDT）作为层次聚类上的先验分布，支持对树结构的非参数贝叶斯推断。
• 使用Metropolis-Hastings MCMC采样器从受约束的后验分布中采样树结构，将用户提供的三元组约束（如（\\{a,b\\},c））作为硬约束引入。
• 引入树距离方差（TDV）度量以量化采样树中的结构模糊性：$\text{TDV}(\mathcal{T},S) = \max_{u,v\in S} \mathrm{Var}_{T\in\mathcal{T}}[\texttt{treedist}_{T|_S}(u,v)]$，用于选择具有信息量的子树进行查询。
• 实施一种主动查询策略，选择固定大小（如|S|=10）且TDV最高的子集S，以最大化每次用户交互的信息增益。
• 将主动查询与随机查询以交错方式结合，避免陷入局部最优并加速收敛。
• 使用数据似然获取函数$a(t) = 1/(1-t)$，并从数据中估计布朗运动参数$\sigma^2$，以引导MCMC探索。

实验结果

研究问题

• RQ1 用户引导的三元组约束能否有效整合到贝叶斯层次聚类中，以指导目标树结构的学习？
• RQ2 算法如何智能选择向用户展示的子树，以最大化信息增益并最小化用户工作量？
• RQ3 基于树距离方差的主动子树查询是否能实现比随机或均匀查询策略更快的收敛速度？
• RQ4 三元组约束在多大程度上提升了MCMC采样器在层次聚类中的收敛性与数据似然性？
• RQ5 交互式贝叶斯层次聚类在真实世界数据集上的性能与基线方法（如基线DDT和平均链接法）相比如何？

主要发现

• 在MNIST和Fisher Iris数据集上，交错查询策略（交替使用随机查询与高方差子树）在收敛速度和三元组距离方面优于仅随机或仅主动查询的策略。
• 基于树距离方差的主动查询显著提升了收敛速度，减少了达到高质量树结构所需的迭代次数。
• 在MNIST和Fisher Iris数据集上，交互式方法的数据似然性高于基线方法（包括基线DDT和平均链接法），表明后验近似效果更优。
• 在模拟实验中，智能查询策略（展示完整树并标识违反的三元组）表现最佳，以最少的查询次数达到最低误差，尽管在大规模树结构中不切实际。
• 随着采样器从约束中学习，数据似然性随时间迅速上升，表明三元组约束有助于MCMC逃离较差的局部最优。
• 当正确引入约束时，该算法在所有测试数据集（包括20 Newsgroups和Zoo）中均成功收敛至目标层次结构$T^*$。