[論文レビュー] From Trees to Continuous Embeddings and Back: Hyperbolic Hierarchical Clustering

Ines Chami, Albert Gu+2 more|arXiv (Cornell University)|Oct 1, 2020

Complex Network Analysis Techniques参考文献 41被引用数 32

ひとこと要約

HypHC は Dasgupta の階層クラスタリングの微分可能な超曲率緩和を提供し、デコーディングステップは (1+ε)-approximate 最適木を導出し、強力な実証結果とエンドツーエンドの訓練可能性を持つ。

ABSTRACT

Similarity-based Hierarchical Clustering (HC) is a classical unsupervised machine learning algorithm that has traditionally been solved with heuristic algorithms like Average-Linkage. Recently, Dasgupta reframed HC as a discrete optimization problem by introducing a global cost function measuring the quality of a given tree. In this work, we provide the first continuous relaxation of Dasgupta's discrete optimization problem with provable quality guarantees. The key idea of our method, HypHC, is showing a direct correspondence from discrete trees to continuous representations (via the hyperbolic embeddings of their leaf nodes) and back (via a decoding algorithm that maps leaf embeddings to a dendrogram), allowing us to search the space of discrete binary trees with continuous optimization. Building on analogies between trees and hyperbolic space, we derive a continuous analogue for the notion of lowest common ancestor, which leads to a continuous relaxation of Dasgupta's discrete objective. We can show that after decoding, the global minimizer of our continuous relaxation yields a discrete tree with a (1 + epsilon)-factor approximation for Dasgupta's optimal tree, where epsilon can be made arbitrarily small and controls optimization challenges. We experimentally evaluate HypHC on a variety of HC benchmarks and find that even approximate solutions found with gradient descent have superior clustering quality than agglomerative heuristics or other gradient based algorithms. Finally, we highlight the flexibility of HypHC using end-to-end training in a downstream classification task.

研究の動機と目的

• Hierarchical Clustering (HC) におけるグローバルな目的関数の必要性を動機づけ、Dasgupta の離散的 HC コストの連続緩和を提供する。
• 木構造を明示的な内部ノードパラメータなしに符号化する葉の超曲率埋め込み表現を導入する。
• HC の differentiable Hyperbolic LCA アナログと、それに対応する連続コストを導出する。
• 連続埋め込みから離散的デンドログラムを近似保証付きで復元するデコード手順を提供する。
• 凝集法および勾配ベースのベースラインに対する実証的な利得を示し、エンドツーエンドの分類統合を検討する。

提案手法

• 二分木をポアインカレ円盤（双曲空間）内の葉埋め込みで表現する。
• 原点に最も近い葉間の測地線上の点として連続的な超曲率LCAを定義し、微分可能な Dasgupta に類似した目的を可能にする。
• Hyperbolic LCA 深さの上でのスケールされたsoftmaxを用いて HypHC の微分可能コスト C_HypHC(Z; w, τ) を構成する。
• 埋め込みを二分木へデコードする手順を用意し、最も類似したペアを原点からの超曲率 LCA 距離で反復的にマージする（Algorithm 1）。
• 分散表現を用いた連続緩和を解くと、spread embeddings の場合 (1+ε) の近似を得られ、τ は O(1/log(1/ε)) に制約されることを証明する。
• 実用的な最適化として、大規模データセットへのスケーリングを可能にする triplet sampling と greedy decoding の導入、加えて下流タスクのエンドツーエンド訓練戦略を提供する。

実験結果

リサーチクエスチョン

• RQ1 Dasgupta の HC 目的関数の微分可能な連続緩和は、伝統的な HC ヒューリスティックと比較して同等またはそれ以上のクラスタリング品質を達成できるか。
• RQ2 hyperbolic 葉埋め込みは基礎となる木構造をどのように捉え、低歪みでデンドログラムへデコードすることを可能にするか。
• RQ3 連続緩和と離散的最適 HC を結ぶ理論保証は何であり、どのような条件（例えば spread embeddings）で成り立つのか。
• RQ4 勾配ベースの HypHC 解法は従来のアグロメレーティブ法や以前の勾配ベース HC アプローチよりも標準的なベンチマークで優れているか。
• RQ5 HypHC をエンドツーエンドの ML パイプライン（下流の分類タスクを含む）に効果的に統合できるか。

主な発見

• spread の埋め込みと τ の適切な選択時に、連続的な HypHC 目的関数と超曲率 LCA は Dasgupta の最適木への (1+ε) 近似を提供する。
• 近似的な勾配ベースの解法は、複数のベンチマークで離散および他の連続 HC 手法を上回るまたは同等である。
• Greedy decoding と triplet sampling は、クラスタリング品質の損失を最小限に抑えつつ大幅な速度向上をもたらす（例：数量のオーダーの差） 。
• HypHC の埋め込みは下流の分類とエンドツーエンドで訓練可能で、2 段階の埋め込み-分類ベースラインより精度の向上を示す。
• 経験的結果は HypHC が最良の離散手法を上回るまたは同等で、従来の連続アプローチ UFit を複数データセットで凌駕することを示している。