[论文解读] Hierarchical Clustering with Structural Constraints

Vaggos Chatziafratis, Rad Niazadeh+1 more|arXiv (Cornell University)|May 24, 2018

Advanced Clustering Algorithms Research参考文献 5被引用 24

一句话总结

本文通过优化框架，提出了一种可证明有效的层次聚类方法，引入结构约束。该方法提出自顶向下的算法，并在存在冲突约束的情况下仍保持近似保证，利用一种新颖的依赖度量来优化性能边界。

ABSTRACT

Hierarchical clustering is a popular unsupervised data analysis method. For many real-world applications, we would like to exploit prior information about the data that imposes constraints on the clustering hierarchy, and is not captured by the set of features available to the algorithm. This gives rise to the problem of "hierarchical clustering with structural constraints". Structural constraints pose major challenges for bottom-up approaches like average/single linkage and even though they can be naturally incorporated into top-down divisive algorithms, no formal guarantees exist on the quality of their output. In this paper, we provide provable approximation guarantees for two simple top-down algorithms, using a recently introduced optimization viewpoint of hierarchical clustering with pairwise similarity information [Dasgupta, 2016]. We show how to find good solutions even in the presence of conflicting prior information, by formulating a constraint-based regularization of the objective. We further explore a variation of this objective for dissimilarity information [Cohen-Addad et al., 2018] and improve upon current techniques. Finally, we demonstrate our approach on a real dataset for the taxonomy application.

研究动机与目标

• 解决在不损害算法保证的前提下，将结构约束（如三元组或有根子树约束）整合到层次聚类中的挑战。
• 在存在冲突或不可行约束的情况下，为自顶向下层次聚类算法提供正式的近似保证。
• 将Dasgupta（2016）的层次聚类优化框架扩展至处理约束，通过正则化和超图最稀疏割技术实现。
• 通过引入改进的目标函数和算法方法，超越现有基于相异度的层次聚类方法。
• 在真实世界分类法数据集上验证该方法的实用性，证明其在约束环境下的有效性。

提出的方法

• 采用层次聚类的优化视角（Dasgupta, 2016），将目标函数表述为最小化加权最低共同祖先子树大小的总和。
• 通过超图最稀疏割问题，引入基于约束的正则化目标函数，以处理不可行或冲突的约束。
• 定义依赖有向图以建模约束类别之间的相互依赖关系，捕捉约束必须被解决的顺序。
• 提出分层依赖子图和依赖度量（DMC），用于量化约束保护的深度，从而实现更精细的近似保证。
• 设计Constrained-RRC算法，作为一种尊重约束的自顶向下递归随机切割方法，其近似因子取决于依赖度量。
• 证明Constrained-RRC对相异度-HC目标是α-近似，其中α = 2(1−k/n)/(3·DMC)，DMC为所有约束类别中最大的依赖度量。

实验结果

研究问题

• RQ1 当施加结构约束时，自顶向下层次聚类算法能否实现可证明的近似保证？
• RQ2 在保持算法性能保证的前提下，如何处理层次聚类中的冲突或不可行约束？
• RQ3 约束之间的相互依赖关系对层次聚类解的质量有何影响？
• RQ4 Dasgupta（2016）的优化框架能否扩展至具有改进保证的基于相异度的层次聚类？
• RQ5 约束的依赖度量如何影响层次聚类算法的近似因子？

主要发现

• Constrained-RRC算法对相异度-HC目标的近似因子为α = 2(1−k/n)/(3·DMC)，其中DMC为约束集的依赖度量。
• 当依赖度量为常数时，Constrained-RRC提供O(1)-近似，表明在结构良好约束下具有优异性能。
• 依赖度量定量捕捉了约束基础被其他约束保护的深度，从而实现对算法性能的精细化分析。
• 通过超图最稀疏割问题实现的正则化方法，可有效处理不可行约束，同时保持解的质量。
• 理论保证被扩展至相异度设置下的Dasgupta目标变体，优于先前技术。
• 在真实分类法数据集上的实证验证证实了该方法在生成有意义且符合约束的层次结构方面的实际有效性。