[논문 리뷰] Representation Tradeoffs for Hyperbolic Embeddings

Christopher De, Albert Gu외 2명|arXiv (Cornell University)|2018. 04. 10.

Guidance and Control Systems인용 수 188

한 줄 요약

본 논문은 거의 완벽에 가까운 왜곡을 갖는 트리에 대한 조합적 쌍곡 임베딩을 제시하고, 이를 일반 데이터에 대한 쌍곡 MDS(h-MDS)와 PGA로 확장하며, 저차원에서 WordNet MAP가 강하게 나타남을 보이고, PyTorch 구현을 제시한다.

ABSTRACT

Hyperbolic embeddings offer excellent quality with few dimensions when embedding hierarchical data structures like synonym or type hierarchies. Given a tree, we give a combinatorial construction that embeds the tree in hyperbolic space with arbitrarily low distortion without using optimization. On WordNet, our combinatorial embedding obtains a mean-average-precision of 0.989 with only two dimensions, while Nickel et al.'s recent construction obtains 0.87 using 200 dimensions. We provide upper and lower bounds that allow us to characterize the precision-dimensionality tradeoff inherent in any hyperbolic embedding. To embed general metric spaces, we propose a hyperbolic generalization of multidimensional scaling (h-MDS). We show how to perform exact recovery of hyperbolic points from distances, provide a perturbation analysis, and give a recovery result that allows us to reduce dimensionality. The h-MDS approach offers consistently low distortion even with few dimensions across several datasets. Finally, we extract lessons from the algorithms and theory above to design a PyTorch-based implementation that can handle incomplete information and is scalable.

연구 동기 및 목표

• 하이퍼볼릭 공간이 왜 계층적 데이터를 효율적으로 표현하는지와 차원, 정밀도, 그래프 구조 간의 트레이드오프를 이해한다.
• 트리-그 다음 하이퍼볼릭 공간의 형식적 왜곡 보장을 가진 조합적 2단계 임베딩을 개발한다.
• 임의의 거리 행렬에 대한 하이퍼볼릭 MDS로 일반화하고 중심화 및 회복을 분석한다.
• 하이퍼볼릭 공간에서의 PGA 기반 차원 축소를 도입하고 최적화 보장을 제공한다.
• 불완전한 정보를 처리하는 확장 가능한 PyTorch 기반 구현을 제공한다.

제안 방법

• 두 단계 조합적 구성: (i) 그래프를 가중 트리에 임베딩; (ii) 트리를 Sarkar의 방법으로 하이퍼볼릭 원판에 임베딩하되, 왜곡을 제어하는 스케일링 인자를 사용한다.
• Sarkar의 알고리즘을 H_r을 사용해 고차원으로 확장하고, 자식들을 구의 초구 또는 큐빅의 정점에 배치하되 구면 부호화를 통해 분리를 극대화한다.
• 정밀도 요구를 분석한다: 비트 수가 최장 경로 길이와 차수에 비례해 스케일링되며, 주어진 왜곡에 대한 비트의 하한을 보인다.
• 하이퍼볼릭 MDS(h-MDS): 의사유클리드 평균(pseudo-Euclidean mean)을 통한 중심화로 하이퍼볼릭 임베딩을 구하고, 하이퍼볼리드 모델에서 PCA 유사 분해로 축소한다.
• 알고리즘 2는 거리 행렬에서 cosh(d)로 변환하고 -Y에 대해 PCA를 수행해 X를 회복하며, 필요시 중심화를 적용한다.
• 주요 측지선 분석(PGA): 평균을 지나는 측지선들에 대해 하이퍼볼릭 거리 오차를 최소화하도록 최적화하고, 국소 볼록성 및 수렴 보장 조건을 제시한다.
• 노이즈가 있거나 불완전한 데이터에 대해 PyTorch로 SGD 기반의 PGA 알고리즘을 제공한다.

실험 결과

연구 질문

• RQ1 하이퍼볼릭 임베딩에서 트리 및 트리 유사 그래프의 정밀도와 차원 간의 트레이드오프는?
• RQ2 조합적 비최적화 기반 임베딩이 하이퍼볼릭 공간에서 낮은 왜곡을 달성할 수 있는가, 그리고 그래프 특성에 따라 어떻게 확장되는가?
• RQ3 임의의 거리 공간에 대한 임베딩 기법을 하이퍼볼릭 MDS를 통해 일반화하는 방법과 회복 보장은 무엇인가?
• RQ4 노이즈 하에서 하이퍼볼릭 공간에서의 차원 축소(PGA)를 수렴 보장과 함께 수행할 수 있는가?
• RQ5 불완전하거나 노이즈가 있는 하이퍼볼릭 임베딩을 위한 확장 가능하고 실용적인 구현은 무엇인가?

주요 결과

데이터셋	C-H2	FB-H5	FB-H200
WordNet	0.989	0.823*	0.87*

• 조합적 임베딩은 최적화 없이 트리에 대해 임의로 낮은 왜곡을 달성하며; WordNet MAP은 2차원에서 0.989에 도달한다.
• 필요한 정밀도(비트 수)는 최장 경로 길이와 최대 차수의 로그에 비례해 확장되며, 긴 체인에 대한 초저차원 임베딩의 한계를 시사한다.
• 하이퍼볼릭 MDS(h-MDS)는 거리로부터 중심화된 의사유클리드 평균으로 하이퍼볼릭 좌표를 회복하고 PCA 유사 문제로 축소될 수 있다.
• 하이퍼볼릭 공간의 PGA는 특정 국소 볼록성 조건하에서 수렴 보장을 갖는 저차원 임베딩으로의 경로를 제공한다.
• SGD 기반 PyTorch 구현에서 학습 가능한 스케일 인자가 임베딩 품질을 향상시키며, 하이퍼볼릭 공간은 스케일 불변이 아니므로 설계에 영향을 미친다.
• WordNet에서 본 논문은 이전 연구보다 현저히 낮은 차원(2D)에서 MAP를 향상시켰다(대 200D).