[논문 리뷰] Poincaré Embeddings for Learning Hierarchical Representations

Maximilian Nickel, Douwe Kiela|arXiv (Cornell University)|2017. 05. 22.

Advanced Graph Neural Networks참고 문헌 28인용 수 171

한 줄 요약

이 논문은 학습 임베딩을 하이퍼볼(Hyperbolic) 공간(Poincaré 구)에서 학습하여 계층성(hierarchy)과 유사성(similarity)을 모두 포착하고, 유클리드 임베딩에 비해 계층적 데이터, 네트워크, 어휘 포함(entailment)에서 우수한 성능을 보인다. 이는 학습을 위한 리만 최적화(Riemannian optimization)를 도입하고 WordNet 분류체계, 협업 네트워크, 어휘 포함 태스크에서 강력한 결과를 시연한다.

ABSTRACT

Representation learning has become an invaluable approach for learning from symbolic data such as text and graphs. However, while complex symbolic datasets often exhibit a latent hierarchical structure, state-of-the-art methods typically learn embeddings in Euclidean vector spaces, which do not account for this property. For this purpose, we introduce a new approach for learning hierarchical representations of symbolic data by embedding them into hyperbolic space -- or more precisely into an n-dimensional Poincaré ball. Due to the underlying hyperbolic geometry, this allows us to learn parsimonious representations of symbolic data by simultaneously capturing hierarchy and similarity. We introduce an efficient algorithm to learn the embeddings based on Riemannian optimization and show experimentally that Poincaré embeddings outperform Euclidean embeddings significantly on data with latent hierarchies, both in terms of representation capacity and in terms of generalization ability.

연구 동기 및 목표

• Symbolic 데이터의 잠재 계층(hierarchy)을 반영하는 표현 학습 동기 부여.
• 계층성 및 유사성을 더 적은 매개변수로 포착하기 위해 하이퍼볼 공간(Poincaré 구)에 객체를 임베딩하는 것을 제안합니다.
• Poincaré 구 제약 하에서 임베딩을 학습하기 위한 효율적인 리만 최적화 알고리즘을 개발합니다.
• Taxonomies, networks, lexical entailment 태스크에서 표현력과 일반화 능력의 향상을 입증합니다.

제안 방법

• 두점 u, v에 대해 거리 d(u,v) = arcosh(1 + 2||u−v||^2 / ((1−||u||^2)(1−||v||^2)))를 갖는 Poincaré 구 Bd에 기호를 임베딩합니다.
• 리만 기하학적 그래디언트 및 재배치(Rθ(v) = θ + v)를 사용하여 유클리드 그래디언트를 Poincaré 거리로 보정하여 손실 L(Θ)을 최적화합니다.
• ||θ|| ≥ 1인 경우 ||θ||를 이용한 투영 proj(θ) = θ/||θ|| − ε (ε = 1e-5)로 임베딩을 구(ball) 내부에 두도록 제약합니다.
• 안정적인 각 배치를 위해 러닝레이트를 축소한 버닝 인(초기화) 단계와 함께 확률적/미니배치 리만 최적화(RSGD/RSVRG)를 사용합니다.
• 관찰된 계층에 대한 부정 샘플링 목적(소프트 랭킹)으로 학습하고 유클리드 및 평행이동(bias translation) 기반 기준선과 비교합니다.
• WordNet 명사 계층 재구성 및 링크 예측, 대규모 네트워크 임베딩, 그리고 그레이디드(is-a 관계를 평가하는) lexical entailment를 평가합니다.

실험 결과

연구 질문

• RQ1 하이퍼볼 기하학이 잠재적 계층 구조를 가진 데이터에 대해 유클리드 기하학보다 더 경제적이고 계층적인 임베딩을 제공할 수 있는가?
• RQ2 Poincaré 임베딩이 음의 곡률 편향으로 계층 구조 및 네트워크에서 표현력과 일반화 능력을 향상시키는가?
• RQ3 언어 내에서 계층 구조를 모델링해야 하는 단어 포함 작업에 대해 Poincaré 임베딩이 효과적인가?
• RQ4 Poincaré 구 모델에서의 리만 최적화가 대규모에서 이러한 하이퍼볼 임베딩을 학습하는 데 얼마나 성능을 발휘하는가?

주요 결과

• Poincaré 임베딩은 WordNet 재구성 및 링크 예측에서 유클리드 및 Translational 방법보다 더 높은 MAP와 더 낮은 평균 순위를 달성하며, 차원이 비슷하거나 더 낮은 경우가 많다.
• 네트워크 링크 예측에서 Poincaré 임베딩은 네트워크 4곳에서 유클리드 임베딩을 능가하며, 특히 저차원에서 두드러진 성능 향상을 보인다(예: AstroPh, CondMat, GrQc, HepPh).
• Poincaré 임베딩은 어휘 포함 태스크(HyperLex)에서 계층적 관계를 graded로 평가할 때 최첨단 성능을 달성하며, WordNet 기반 기준선보다 우수한 성과를 보인다.
• 하이퍼볼 기하학은 더 적은 매개변수로 강력한 계층적 표현을 가능하게 하여 일반화 및 누락 데이터에 대한 강건성을 향상시킨다.
• Poincaré 구 모델의 리만 최적화는 대규모 데이터셋에 확장 가능하고 병렬화도 효과적으로 가능하다(예: Hogwild).