[논문 리뷰] Ultrahyperbolic Representation Learning

Marc T. Law, Jos Stam|arXiv (Cornell University)|2020. 07. 01.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 비영이 아닌 일정한 곡률을 가진 의사-리만 다양체 위에서의 새로운 표현 학습 프레임워크를 제안하며, 정부정의 계량을 允허함으로써 쌍곡기하학과 구면기하학을 일반화한다. 이는 폐쇄형 지오데식 거리와 최적화를 위한 내림방향을 제공하여, 이 비유클리드 공간 내에서 효과적인 그래프 표현 학습을 가능하게 한다.

ABSTRACT

In machine learning, data is usually represented in a (flat) Euclidean space where distances between points are along straight lines. Researchers have recently considered more exotic (non-Euclidean) Riemannian manifolds such as hyperbolic space which is well suited for tree-like data. In this paper, we propose a representation living on a pseudo-Riemannian manifold of constant nonzero curvature. It is a generalization of hyperbolic and spherical geometries where the nondegenerate metric tensor need not be positive definite. We provide the necessary learning tools in this geometry and extend gradient-based optimization techniques. More specifically, we provide closed-form expressions for distances via geodesics and define a descent direction to minimize some objective function. Our novel framework is applied to graph representations.

연구 동기 및 목표

• 비유클리드 다양체에서 부정부정계량텐서를 가진 표현 학습 프레임워크를 개발함으로써, 쌍곡기하학과 구면기하학을 일반화한다.
• 목적 함수를 최소화하기 위한 내림방향을 정의하여, 이 기하학에서 기울기 기반 최적화를 가능하게 한다.
• 제안된 다양체에서 지오데식 거리의 폐쇄형 표현을 제공하여 효율적인 학습을 지원한다.
• 이 프레임워크를 그래프 표현 학습에 적용하여, 구조화된 데이터에서의 유용성을 입증한다.

제안 방법

• 논문은 계량텐서가 비퇴화적이지만 정부정의 계량이 아닌 일정한 비영이 아닌 곡률을 가진 의사-리만 다양체를 제안한다.
• 다양체의 내재 기하학을 이용하여 지오데식 거리의 폐쇄형 표현을 유도한다.
• 비정부정계량으로 일반화된 리만 최적화를 통해 내림방향을 정의하며, 최적화에서 수렴을 보장한다.
• 기울기 하강법과 같은 표준 최적화 기법을 이 정부정의 계량이 아닌 설정으로 확장한다.
• 노드를 초초월 공간에 임bedding하여 그래프 구조 데이터의 표현을 학습하는 데 지원한다.
• 곡률 영향을 다루고 학습 중 수치적 안정성을 유지하기 위한 이론적 도구를 개발한다.

실험 결과

연구 질문

• RQ1 정부정의 계량텐서를 가진 비유클리드 다양체가 그래프 구조 데이터의 효과적인 표현 학습을 지원할 수 있는가?
• RQ2 일정한 비영이 아닌 곡률을 가진 의사-리만 다양체에서 지오데식 거리를 어떻게 계산할 수 있는가?
• RQ3 정부정의 계량이 아닌 기하학에서 최적화를 가능하게 하기 위해 어떤 내림방향을 정의할 수 있는가?
• RQ4 제안된 프레임워크는 기존의 쌍곡기하학 및 유클리드 기반 기준선과 비교하여 그래프 표현 작업에서 어떻게 성능을 내는가?
• RQ5 곡률과 부호는 학습된 표현의 표현력과 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 일정한 비영이 아닌 곡률을 가진 의사-리만 다양체에서 표현 학습을 가능하게 하며, 쌍곡기하학과 구면기하학을 일반화한다.
• 폐쇄형 지오데식 거리가 도출되어 다양체 내부의 거리 계산을 효율적으로 수행할 수 있다.
• 부정부정계량텐서가 존재하더라도 기울기 기반 최적화를 지원하는 내림방향이 정의된다.
• 기하학의 곡률과 부호를 활용하여 프레임워크는 성공적으로 그래프 표현을 학습한다.
• 양의 정부정의 리만 다양체를 넘어서 비유클리드 표현 학습을 위한 통합적인 기하학적 기반을 제공한다.