[논문 리뷰] Learning Continuous Hierarchies in the Lorentz Model of Hyperbolic Geometry

Maximilian Nickel, Douwe Kiela|arXiv (Cornell University)|2018. 06. 09.

Complex Network Analysis Techniques인용 수 85

한 줄 요약

논문은 쌍별 유사성으로부터 연속적인 계층을 학습하기 위한 Lorentz-모형 하이퍼볼릭 임베딩 방법을 도입하고, Poincaré 임베딩보다 성능이 개선되며 특히 저차원에서 두드러진다고 보여주며, 분류 시스템, Enron, 및 역사적 언어 데이터에서 검증한다.

ABSTRACT

We are concerned with the discovery of hierarchical relationships from large-scale unstructured similarity scores. For this purpose, we study different models of hyperbolic space and find that learning embeddings in the Lorentz model is substantially more efficient than in the Poincar\\'e-ball model. We show that the proposed approach allows us to learn high-quality embeddings of large taxonomies which yield improvements over Poincar\\'e embeddings, especially in low dimensions. Lastly, we apply our model to discover hierarchies in two real-world datasets: we show that an embedding in hyperbolic space can reveal important aspects of a company's organizational structure as well as reveal historical relationships between language families.

연구 동기 및 목표

• unordered 쌍별 유사도 점수로부터 계층적 관계를 추론하는 방법을 발견한다.
• Lorentz 공간의 하이퍼볼릭에서 효율적인 최적화 방법을 개발한다.
• 임베딩의 크기와 관련성(임베딩 노름과 거리)을 통해 일반성 및 관련성을 나타낼 수 있음을 보인다.
• 대규모 분류 체계 및 실제 데이터셋에 대한 확장성을 평가한다.
• Lorentz-모형 임베딩과 Poincaré 임베딩을 비교하고 특히 저차원에서 개선을 입증한다.

제안 방법

• Riemannian 최적화를 이용한 Lorentz-모형 하이퍼볼릭 임베딩 프레임워크를 제안한다.
• Lorentz 거리 d_ell(x,y)=arcosh(-<x,y>_L)와 지오데식 위를 따라 업데이트를 수행하기 위한 지수 맵을 사용한다.
• 하이퍼볼로이드의 접선 공간으로의 투영을 통해 리만 기울기를 계산한다.
• 필요시 시각화를 위해 하이퍼볼로이드의 원점 근처에서 임베딩을 초기화하고 Poincaré 원으로 매핑한다.
• 로컬 이웃 순위 최적화 객체(Eq. 12)를 통해 쌍별 유사도 행렬에서 계층을 추론하기 위해 하이퍼볼릭 임베딩을 확장한다.
• 대규모 분류 체계에서 Poincaré 임베딩과 비교하여 최적화 효율성과 임베딩 품질을 평가한다.

실험 결과

연구 질문

• RQ1 하이퍼볼릭 임베딩을 사용하여 연속적 계층이 쌍별 유사도 데이터에서 복구될 수 있는가?
• RQ2 Lorentz 모형이 특히 저차원에서 Poincaré 모형보다 더 효율적이고 높은 품질의 임베딩을 가능하게 하는가?
• RQ3 임베딩 노름이 잠재 계층의 일반성 지표로 작용할 수 있는가?
• RQ4 Lorentz-모형 하이퍼볼릭 임베딩이 대규모 실제 데이터 세트로 확장 가능하고 조직, 언어 가족과 같은 의미 있는 구조를 드러내는가?

주요 결과

• Lorentz-모형 임베딩은 특히 2D 및 5D 설정에서 Poincaré 임베딩보다 품질이 크게 우수하다.
• 대규모 분류 체계에서 2D 및 5D Lorentz 임베딩은 Poincaré 임베딩에 비해 상당한 상대적 향상을 보이며(예: 2D에서 WordNet Nouns의 MR 개선 최대 74.8%까지).
• 임베딩 노름은 개념 일반성과 상관관계가 있어 계층적 순위를 추정하는 대리지표를 제공한다.
• Enron 및 어휘 접사(cognate) 데이터에 대한 적용은 진짜 계층 구조와 일치하는 조직 구조 및 역사적 언어 관계를 드러낸다.
• Lorentz 최적화는 Poincaré 거리의 수치적 불안정을 피하고 지오데식을 따라 업데이트를 수행해 최적화 결과를 개선한다.