[论文解读] From Trees to Continuous Embeddings and Back: Hyperbolic Hierarchical Clustering

Ines Chami, Albert Gu+2 more|arXiv (Cornell University)|Oct 1, 2020

Complex Network Analysis Techniques参考文献 41被引用 32

一句话总结

HypHC 提供了一种可微分的 Dasgupta 的层次聚类的双曲线松弛，实现一个 (1+ε)-近似最优树的解码步骤，并具备强大的经验结果，以及端到端训练潜力。

ABSTRACT

Similarity-based Hierarchical Clustering (HC) is a classical unsupervised machine learning algorithm that has traditionally been solved with heuristic algorithms like Average-Linkage. Recently, Dasgupta reframed HC as a discrete optimization problem by introducing a global cost function measuring the quality of a given tree. In this work, we provide the first continuous relaxation of Dasgupta's discrete optimization problem with provable quality guarantees. The key idea of our method, HypHC, is showing a direct correspondence from discrete trees to continuous representations (via the hyperbolic embeddings of their leaf nodes) and back (via a decoding algorithm that maps leaf embeddings to a dendrogram), allowing us to search the space of discrete binary trees with continuous optimization. Building on analogies between trees and hyperbolic space, we derive a continuous analogue for the notion of lowest common ancestor, which leads to a continuous relaxation of Dasgupta's discrete objective. We can show that after decoding, the global minimizer of our continuous relaxation yields a discrete tree with a (1 + epsilon)-factor approximation for Dasgupta's optimal tree, where epsilon can be made arbitrarily small and controls optimization challenges. We experimentally evaluate HypHC on a variety of HC benchmarks and find that even approximate solutions found with gradient descent have superior clustering quality than agglomerative heuristics or other gradient based algorithms. Finally, we highlight the flexibility of HypHC using end-to-end training in a downstream classification task.

研究动机与目标

• 动机：在层次聚类（HC）中需要一个全局目标，并提供 Dasgupta 的离散 HC 成本的连续松弛。
• introductions: 引入一种叶子超曲线嵌入表示，该表示在不使用显式内部节点参数的情况下对树结构进行编码。
• Derive a differentiable Hyperbolic LCA analogue and a corresponding continuous cost for HC.
• Provide a decoding procedure to recover a discrete dendrogram from continuous embeddings with approximation guarantees.
• Demonstrate empirical gains over agglomerative and gradient-based baselines and explore end-to-end classification integration.

提出的方法

• 将二叉树表示为在庞加莱圆盘（双曲空间）中的叶子嵌入。
• 将连续的超曲线 LCA 定义为两片叶之间测地线在原点最近点，从而实现类似 Dasgupta 的可微分目标。
• 使用对超曲线 LCA 深度的缩放 softmax 来形成 HypHC 的可微分代价 C_HypHC(Z; w, τ)。
• 通过一个迭代地按其超曲线 LCA 与原点的距离最近的成对合并来将嵌入解码成二叉树（算法 1）。
• 证明在扩展嵌入下，求解连续松弛会得到离散 Dasgupta 最优解的 (1+ε)-近似（τ 受限于 O(1/log(1/ε))）。
• 提供实用的优化方法：三元组采样和贪婪解码以适应大规模数据集，以及用于下游任务的端到端训练策略。

实验结果

研究问题

• RQ1 可微分的 Dasgupta 的 HC 目标的连续松弛是否能够达到与传统 HC 启发式方法相当或更好的聚类质量？
• RQ2 双曲叶嵌入如何捕捉潜在的树结构，并实现以低失真解码回树状图？
• RQ3 将连续松弛与离散最优 HC 连接起来的理论保证有哪些，在什么条件下成立（例如扩展嵌入）？
• RQ4 基于梯度的 HypHC 解决方案是否在标准基准测试中优于经典自底向上法和先前的基于梯度的 HC 方法？
• RQ5 HypHC 能否有效整合到端到端 ML 流水线中，包括下游分类任务？

主要发现

• 在嵌入分布扩展且 τ 选择得当时，具有超曲线 LCA 的连续 HypHC 目标可实现 Dasgupta 最优树的 (1+ε)-近似。
• 近似梯度基方法在多个基准上优于或等于离散和其他连续 HC 方法。
• 贪婪解码与三元组采样在维持聚类质量的同时带来显著的速度提升（如数量级级别）。
• HypHC 嵌入可以端到端训练，结合下游分类，相较于两阶段的嵌入后分类基线可获得更高的准确率。
• 经验结果表明 HypHC 超过或匹配最佳离散方法，并在多个数据集上优于先前的连续方法 UFit。