[논문 리뷰] Tree! I am no Tree! I am a Low Dimensional Hyperbolic Embedding

Rishi Sonthalia, Anna C. Gilbert|arXiv (Cornell University)|2020. 05. 08.

Topological and Geometric Data Analysis참고 문헌 33인용 수 5

한 줄 요약

이 논문은 $δ$-하이퍼볼릭 거리 체계에서 나무 구조를 학습하여 저차원 하이퍼볼릭 임베딩을 가능하게 하는 빠른 메트릭-프라이머리 알고리즘인 TreeRep을 제안한다. 원래 메트릭을 근사하는 나무를 구성함으로써 ($δ=0$일 경우 정확함) TreeRep는 기존 하이퍼볼릭 임베딩 방법보다 10,000배 이상 빠른 속도를 달성하면서도 평균 왜곡은 낮추고 평균 평균 정밀도는 높여, 유전체학, 언어학, 사회망과 같은 분야에서 대규모 데이터셋의 확장 가능한 계층적 분석을 가능하게 한다.

ABSTRACT

Given data, finding a faithful low-dimensional hyperbolic embedding of the data is a key method by which we can extract hierarchical information or learn representative geometric features of the data. In this paper, we explore a new method for learning hyperbolic representations by taking a metric-first approach. Rather than determining the low-dimensional hyperbolic embedding directly, we learn a tree structure on the data. This tree structure can then be used directly to extract hierarchical information, embedded into a hyperbolic manifold using Sarkar's construction \cite{sarkar}, or used as a tree approximation of the original metric. To this end, we present a novel fast algorithm extsc{TreeRep} such that, given a $δ$-hyperbolic metric (for any $δ\geq 0$), the algorithm learns a tree structure that approximates the original metric. In the case when $δ= 0$, we show analytically that extsc{TreeRep} exactly recovers the original tree structure. We show empirically that extsc{TreeRep} is not only many orders of magnitude faster than previously known algorithms, but also produces metrics with lower average distortion and higher mean average precision than most previous algorithms for learning hyperbolic embeddings, extracting hierarchical information, and approximating metrics via tree metrics.

연구 동기 및 목표

• 데이터의 계층적 구조를 유지하는 저차원 하이퍼볼릭 임베딩을 학습할 수 있는 확장 가능하고 효율적인 방법을 개발하는 것.
• 기존 비볼록 최적화 기반 하이퍼볼릭 임베딩 방법에서의 기하학적 보장 부족과 높은 계산 비용 문제를 해결하는 것.
• 하이퍼볼릭 공간에 임베딩하기 전에 먼저 나무 구조를 학습하는 것이 메트릭 충실도와 성능 향상에 기여함을 입증하는 것.
• 특히 $δ=0$일 경우 정확한 해를 제공하는, $δ$-하이퍼볼릭 메트릭을 나무 메트릭으로 근사하는 분석적으로 탄탄한 알고리즘을 제공하는 것.
• 이전에는 계산 제약으로 인해 비현실적이었던 대규모 데이터셋(예: 단세포 유전체학, 사회망)에 대한 계층적 분석을 가능하게 하는 것.

제안 방법

• 직접 하이퍼볼릭 임베딩을 최적화하는 대신, 입력된 $δ$-하이퍼볼릭 메트릭을 근사하는 나무 구조를 학습하는 메트릭-프라이머리 접근법을 채택한다.
• 나무 메트릭의 기하학적 성질을 활용하여, 거리 삼중항을 기반으로 스티너 노드(내부 노드)를 재귀적으로 배치한다. 이때 $δ$-하이퍼볼릭성의 네 점 조건을 활용한다.
• 두 가지 재귀 영역을 적용한다: 영역 1은 특정 스티너 노드에 직접 연결된 노드를 거리 쌍의 최대 거리 기반으로 배치하며, 영역 2는 간선 압축이 필요한 노드를 재귀적 정밀도 향상 기법으로 처리한다.
• 나무를 구축하기 위해 랜덤으로 세 점을 선택하고, 그들 간의 쌍별 거리를 계산한 후, 고르모프 곱을 사용하여 새로운 스티너 노드의 최적 배치를 결정한다.
• 결과로 생성된 나무를 사르카르의 구성법을 활용해 하이퍼볼릭 공간에 임베딩하여 계층적 구조를 유지하고 후속 분석을 가능하게 한다.
• 알고리즘은 결정적이며, 점의 수와 메트릭의 하이퍼볼릭성 파라미터 $δ$에 따라 영향을 받는 근접 선형 시간 복잡도를 가진다.

실험 결과

연구 질문

• RQ1 직접 최적화하는 것보다 나무 구조를 먼저 학습한 후 하이퍼볼릭 임베딩을 수행하는 메트릭-프라이머리 접근법이 더 나은 또는 더 효율적인 하이퍼볼릭 표현을 제공할 수 있는가?
• RQ2 특히 $δ=0$일 경우, 나무 구조가 $δ$-하이퍼볼릭 메트릭을 얼마나 정확하게 근사할 수 있는가?
• RQ3 TreeRep은 기존의 나무 근사 및 하이퍼볼릭 임베딩 알고리즘에 비해 얼마나 빠른가?
• RQ4 다양한 데이터셋에서 평균 왜곡과 평균 평균 정밀도 측면에서 TreeRep이 최신 기술을 능가하는가?
• RQ5 Enron(180,810개 노드)과 WordNet(75,834개 노드)과 같은 대규모 데이터셋에서 이전 방법들이 런타임 제약으로 인해 실패한 상황에서도 TreeRep이 확장 가능한가?

주요 결과

• δ=0일 경우 TreeRep는 원래 나무 구조를 정확히 복원하여, 나무 근사 메트릭에 대한 분석적 정확성을 입증한다.
• δ>0일 경우, Saitou와 Nei(0.336) 및 Abraham 등(Enron에서 0.607)과 비교해 평균 왜곡이 현저히 낮은(예: Wordnet에서 0.131) 나무 메트릭을 생성한다.
• 최적화 기반 하이퍼볼릭 임베딩 방법(예: Nickel과 Kiela, Sala 등)에 비해 10,000배 이상 빠른 속도를 기록하며, Celegan(2024개 노드)에서는 1초 이내, GRQC(13,422개 노드)에서는 10초 이내로 런타임을 확보한다.
• Enron 데이터셋(180,810개 노드)에서는 TreeRep가 27초 내로 실행되며, 최적화 기반 방법은 런타임이 너무 길어 실행이 불가능하다.
• CS Phd에서 0.380, Dieseasome에서 0.332의 높은 평균 평균 정밀도를 달성하여 Saitou와 Nei를 능가하고, 다른 나무 근사 알고리즘과 비교해도 유사하거나 뛰어난 성능을 보인다.
• 알고리즘은 효율적으로 확장 가능하다: Grid-worm(6,421개 노드)에서는 0.731초 내로 실행되며, 다른 방법들은 완료되지 않거나 매우 느린 편이다.