[논문 리뷰] Hyperbolic Entailment Cones for Learning Hierarchical Embeddings

Octavian-Eugen Ganea, Gary Bécigneul외 1명|arXiv (Cornell University)|2018. 04. 03.

Advanced Graph Neural Networks참고 문헌 31인용 수 45

한 줄 요약

이 논문은 DAG에 대한 계층 임베딩 학습을 위해 쌍곡형 entailment cones를 도입하고, 훈련 중 부분 트랜지티브 클로저가 제공될 때 특히 기존의 유클리드 및 쌍곡 방법보다 우수한 성능을 보인다.

ABSTRACT

Learning graph representations via low-dimensional embeddings that preserve relevant network properties is an important class of problems in machine learning. We here present a novel method to embed directed acyclic graphs. Following prior work, we first advocate for using hyperbolic spaces which provably model tree-like structures better than Euclidean geometry. Second, we view hierarchical relations as partial orders defined using a family of nested geodesically convex cones. We prove that these entailment cones admit an optimal shape with a closed form expression both in the Euclidean and hyperbolic spaces, and they canonically define the embedding learning process. Experiments show significant improvements of our method over strong recent baselines both in terms of representational capacity and generalization.

연구 동기 및 목표

• 유클리드 및 기존의 하이퍼볼릭 방법이 DAG에서 계층성/포함 관계를 인코딩하는 데 가지는 한계를 동기 부여하고 해결한다.
• 리만 기하공간에서 부분 순서를 모델링하기 위한 일반적이고 콘 기반의 기하적 프레임워크(Entailment Cones)를 제안한다.
• 유클리드 및 쌍곡 공간에서의 닫힌 형태의 최적 콘 형태를 유도하고 효율적 학습 알고리즘을 공식화한다.
• WordNet의 하이퍼넘 예측 벤치마크에서(베이스라인 대비) 표현력과 일반화 능력의 향상을 보여준다.

제안 방법

• 리만 기하공간의 지수 매핑을 통해 접선 공간 콘을 매니폴드로 매핑하여 entailment 콘을 정의한다.
• 유클리드 및 포인카레 볼 모델에 대해 닫힌 형태의 최적 콘 확장 함수 ψ를 유도한다.
• 각도에 대한 최대마진 손실을 사용하여 임베딩을 학습하고, 양의 쌍은 포함 콘 내부에, 음의 쌍은 외부에 위치하도록 한다.
• 명시적 지수 매핑을 사용하는 포인카레 볼에서의 전부/실용적 리만 최적화를 수행한다.
• WordNet 전이적 닫힘 데이터에 대해 기저선(오더 임베딩, 포인카레 임베딩, 단순 유클리드)과 비교 평가한다.

실험 결과

연구 질문

• RQ1 비유클리드 다양체의 콘 영역으로서의 포함 관계를 효과적으로 모델링하여 계층 구조와 방향성을 포착할 수 있는가?
• RQ2 자연스러운 대칭성 및 전이성 제약하에서 이 포함 콘의 최적 기하학적 형태는 무엇인가?
• RQ3 저차원 임베딩에서 쌍곡 entailment cones가 유클리드/다른 쌍곡 베이스라인보다 계층적 연결 예측에서 더 나은가?
• RQ4 학습 중 전이적 닫힘 데이터의 양에 따라 콘 기반 모델의 성능은 어떻게 달라지는가?

주요 결과

• 일부 비기본 전이 닫힘 경로가 학습에 포함될 때, 저차원 설정(차원 5 및 10)에서 쌍곡 entailment cones가 모든 베이스라인을 능가한다.
• 5차원에서 0% 학습 비기본 엣지의 결과: Simple Euclidean 26.8, Poincaré 29.4, Order 34.4, Our Euclidean Cones 28.5, Our Hyperbolic Cones 29.2.
• 5차원에서 50% 비기본 학습 엣지: Simple Euclidean 72.8, Poincaré 83.6, Order 81.7, Our Euclidean Cones 77.4, Our Hyperbolic Cones 92.8.
• 10차원에서 50% 비기본 학습 엣지: Simple Euclidean 78.1, Poincaré 85.3, Order 84.1, Our Euclidean Cones 81.6, Our Hyperbolic Cones 94.4.
• 5차원 및 10차원에 걸쳐, 더 많은 전이 닫힘 데이터를 학습에 포함시킬수록 쌍곡 콘이 더 강한 이득을 보이며, 때로는 베이스라인 대비 F1을 8포인트 이상 향상시키기도 한다.
• 포인카레 볼에서의 닫힌 형태의 지수 매핑을 제공하여 근사적 방법이 아닌 전체 리만 최적화를 가능하게 한다.