[논문 리뷰] From Trees to Continuous Embeddings and Back: Hyperbolic Hierarchical Clustering

Ines Chami, Albert Gu외 2명|arXiv (Cornell University)|2020. 10. 01.

Complex Network Analysis Techniques참고 문헌 41인용 수 32

한 줄 요약

HypHC는 Dasgupta의 계층적 클러스터링의 구분 가능한 하이퍼볼릭 러프를 제공하며, 디코딩 단계는 (1+ε)-근사 최적 트리를 산출하고 강력한 실증 결과를 보여주고, 엔드-투-엔드 학습 가능성도 있다.

ABSTRACT

Similarity-based Hierarchical Clustering (HC) is a classical unsupervised machine learning algorithm that has traditionally been solved with heuristic algorithms like Average-Linkage. Recently, Dasgupta reframed HC as a discrete optimization problem by introducing a global cost function measuring the quality of a given tree. In this work, we provide the first continuous relaxation of Dasgupta's discrete optimization problem with provable quality guarantees. The key idea of our method, HypHC, is showing a direct correspondence from discrete trees to continuous representations (via the hyperbolic embeddings of their leaf nodes) and back (via a decoding algorithm that maps leaf embeddings to a dendrogram), allowing us to search the space of discrete binary trees with continuous optimization. Building on analogies between trees and hyperbolic space, we derive a continuous analogue for the notion of lowest common ancestor, which leads to a continuous relaxation of Dasgupta's discrete objective. We can show that after decoding, the global minimizer of our continuous relaxation yields a discrete tree with a (1 + epsilon)-factor approximation for Dasgupta's optimal tree, where epsilon can be made arbitrarily small and controls optimization challenges. We experimentally evaluate HypHC on a variety of HC benchmarks and find that even approximate solutions found with gradient descent have superior clustering quality than agglomerative heuristics or other gradient based algorithms. Finally, we highlight the flexibility of HypHC using end-to-end training in a downstream classification task.

연구 동기 및 목표

• 계층적 클러스터링(HC)에서 글로벌 목적 함수의 필요성을 동기화하고 Dasgupta의 이산 HC 비용의 연속 완화를 제공한다.
• 명시적 내부 노드 매개변수 없이 트리 구조를 인코딩하는 잎-하이퍼볼릭 임베딩 표현을 도입한다.
• 미분 가능 Hyperbolic LCA 유사체와 HC에 대한 대응하는 연속 비용을 도출한다.
• 연속 임베딩으로부터 이산 수계(덴드로그램)를 근사 보장과 함께 복원하는 디코딩 절차를 제공한다.
• 응집형 및 기울기 기반 베이스라인에 비한 실험적 이점을 보여주고 엔드-투-엔드 분류 통합을 탐구한다.

제안 방법

• 이진 트리를 Poincaré 원판(하이퍼볼릭 공간) 내 잎 임베딩으로 표현한다.
• 두 잎 사이의 원점에 가장 가까운 측지선상의 점으로 연속 하이퍼볼릭 LCA를 정의하여 미분 가능한 Dasgupta 유사 목적함수를 가능하게 한다.
• 하이퍼볼릭 LCA 깊이에 대한 스케일링된 소프트맥스(scaled softmax)를 사용하여 HypHC 미분 가능 비용 C_HypHC(Z; w, τ)을 형성한다.
• 임베딩을 이진 트리로 디코딩하는 절차를 제시하며, 이 절차는 두 잎의 하이퍼볼릭 LCA 원점까지의 거리가 가장 가까운 쌍을 반복적으로 합친다(Algorithm 1).
• 스프레드 임베딩일 때 연속 완화를 해결하면 이산 Dasgupta 최적해에 대해 (1+ε)-근사를 얻는다고 증명한다(τ는 O(1/log(1/ε))로 제약).
• 실용적 최적화로 트리플 샘플링(triplet sampling)과 그리디 디코딩을 제공하여 대규모 데이터셋에 확장하고, 다운스트림 작업을 위한 엔드-투-엔드 학습 전략을 제시한다.

실험 결과

연구 질문

• RQ1 Dasgupta의 HC 목적의 미분 가능 연속 완화가 전통적 HC 휴리스틱과 비교하여 동등하거나 더 나은 클러스터링 품질을 달성할 수 있는가?
• RQ2 하이퍼볼릭 잎 임베딩이 기저 트리 구조를 어떻게 포착하고 왜곡이 낮은 상태로 덴드로그램으로 다시 디코딩할 수 있는가?
• RQ3 연속 완화를 이산 최적 HC와 연결하는 이론적 보장은 무엇이며, 어떤 조건에서(예: spread embeddings) 성립하는가?
• RQ4 기울기 기반 HypHC 해법이 표준 벤치마크에서 고전적 응집적 방법과 이전의 기울기 기반 HC 접근법을 능가하는가?
• RQ5 HypHC가 다운스트림 분류 작업을 포함한 엔드-투-엔드 ML 파이프라인에 효과적으로 통합될 수 있는가?

주요 결과

• 하이퍼볼릭 LCA를 갖춘 연속 HypHC 목적은 임베딩이 확산되고 τ가 적절히 선택될 때 Dasgupta의 최적 트리에 대해 (1+ε)-근사를 제공한다.
• 근사적 기울기 기반 해법은 여러 벤치마크에서 이산 및 다른 연속 HC 방법을 능가하거나 일치한다.
• 그리디 디코딩과 트리플 샘플링은 클러스터링 품질의 최소 손실로 상당한 속도 향상을 제공한다(예: 몇 배에서 수십 배의 차이).
• HypHC 임베딩은 엔드-투-엔드로 다운스트림 분류와 함께 학습될 수 있으며, 두 단계의 임베딩-분류 베이스라인보다 정확도가 향상된다.
• 실험 결과 HypHC가 여러 데이터셋에서 최고의 이산 방법을 능가하거나 따라가고, 이전의 연속 방식인 UFit를 능가한다.