[논문 리뷰] Hyperbolic Neural Networks

Octavian-Eugen Ganea, Gary Bécigneul외 1명|arXiv (Cornell University)|2018. 05. 23.

Topological and Geometric Data Analysis참고 문헌 17인용 수 36

한 줄 요약

이 논문은 이중적 프레임워크인 초구형 신경망(Hyperbolic Neural Networks, HNNs)을 소개한다. HNNs는 다항 로지스틱 회귀, 피드포워드, 게이트드 순환 네트워크와 같은 주요 딥러닝 구성요소를 초구형 기하학의 포이카레 볼 모델로 일반화한다. 모비우스 고벡터 공간과 리만 기하학을 결합함으로써 HNNs는 초구형 공간 내에서 효과적인 학습을 가능하게 하여, 텍스트 함의 및 노이즈가 있는 접두사 인식과 같은 계층적 자연어처리(NLP) 과제에서 최신 기술 수준의 성능을 달성한다. 이는 낮은 차원의 임bedding을 사용하더라도 유클리드 대비 항상 뛰어난 성능을 보인다.

ABSTRACT

Hyperbolic spaces have recently gained momentum in the context of machine learning due to their high capacity and tree-likeliness properties. However, the representational power of hyperbolic geometry is not yet on par with Euclidean geometry, mostly because of the absence of corresponding hyperbolic neural network layers. This makes it hard to use hyperbolic embeddings in downstream tasks. Here, we bridge this gap in a principled manner by combining the formalism of Möbius gyrovector spaces with the Riemannian geometry of the Poincaré model of hyperbolic spaces. As a result, we derive hyperbolic versions of important deep learning tools: multinomial logistic regression, feed-forward and recurrent neural networks such as gated recurrent units. This allows to embed sequential data and perform classification in the hyperbolic space. Empirically, we show that, even if hyperbolic optimization tools are limited, hyperbolic sentence embeddings either outperform or are on par with their Euclidean variants on textual entailment and noisy-prefix recognition tasks.

연구 동기 및 목표

• 초구형 기하학을 위한 체계적인 딥러닝 도구의 부족으로 인해 하위 과제에서 초구형 임베딩의 활용이 제한되는 문제를 해결하기 위해.
• 표준 신경망 레이어를 일정한 음의 곡률을 가진 공간으로 일반화함으로써 유클리드와 초구형 딥러닝 간 격차를 메우기 위해.
• 계층적, 트리 구조를 가진 데이터(예: 텍스트 함의 및 지식 그래프)를 초구형 공간에서 효과적으로 표현하고 분류할 수 있도록 하기 위해.
• 초구형 신경망이 순차적이고 계층적인 구조를 가진 데이터에서 유클리드 대비 우수하거나 동등한 성능을 내는 것으로 실험적으로 입증하기 위해.

제안 방법

• 신경망 연산을 위한 기초 리만 다양체로 초구형 공간의 포이카레 볼 모델을 사용한다.
• 초구형 공간 내에서 덧셈과 스칼라 곱셈과 같은 벡터 연산을 일반화하기 위해 모비우스 고벡터 공간의 형식을 적용한다.
• 다항 로지스틱 회귀, 피드포워드 네트워크, 게이트드 순환 유닛(GRUs)과 같은 표준 딥러닝 레이어의 초구형 변형을 유도한다.
• 곡률에 따라 매개변수화된 Riemannian 확률적 경사하강법(RSGD)을 최적화에 사용하며, 유클리드와 초구형 기하학을 통합한다.
• 초구형 임베딩을 탄성 공간으로 투영하기 위해 로그 매핑(log₀)을 사용하여 유클리드 모델과 비교한다.
• 곡률 매개변수화를 통해 유클리드와 초구형 공간 간의 연속적 변형을 가능하게 하는 통합 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 표준 딥러닝 구성요소인 다항 로지스틱 회귀와 RNNs가 체계적인 방식으로 초구형 기하학으로 일반화될 수 있는가?
• RQ2 계층적 순차적 데이터에서 초구형 신경망이 유클리드 대비 얼마나 우수한 성능을 보이는가?
• RQ3 초구형 공간의 내재 기하학을 유지하는 것이 트리 구조 데이터의 분류 성능을 향상시키는가?
• RQ4 낮은 차원의 초구형 임베딩이 자연어 및 지식 그래프에서 계층적 구조를 효과적으로 포착할 수 있는가?
• RQ5 초구형 학습에서 리만 최적화와 탄성 공간 투영 간의 영향은 무엇인가?

주요 결과

• 워드넷 텍스트 함의 과제에서, 초구형 MLR는 10차원 임베딩을 사용해 테스트 F1 스코어 99.26%를 기록했으며, 탄성 공간 투영을 사용한 최고의 유클리드 변형(99.36%)을 뛰어나며 직접 유클리드 매핑보다는 뚜렷이 뛰어난 성능을 보였다.
• 'worker.n.01' 서브트리에서, 초구형 MLR는 10D 임베딩으로 91.91% F1을 기록했고, log₀ 투영을 사용한 최고의 유클리드 베이스라인은 91.41%에 그쳤다. 이는 고계층 설정에서의 일관된 우수성을 보여준다.
• 'mammal.n.01' 서브트리에서, 초구형 MLR는 10D 임베딩으로 91.37% F1을 기록했고, 탄성 공간 투영을 사용한 최고의 유클리드 모델은 77.76% F1에 머물렀다.
• 'animal.n.01' 서브트리에서, 초구형 MLR는 10D 임베딩으로 99.26% F1을 기록했고, log₀+유클리드 베이스라인은 98.27%를 기록했다. 이는 큰 깊이의 계층에서 뚜렷한 성능 향상을 보여준다.
• 초구형 GRU 모델은 노이즈가 있는 접두사 인식 과제에서 뛰어난 성능을 보였으며, 이는 초구형 공간 내의 RNN이 암묵적인 계층적 구조를 가진 순차적 데이터를 효과적으로 모델링할 수 있음을 시사한다.
• 시각화 결과는 초구형 기하학이 유클리드 투영보다 계층적 군집을 더 잘 유지하며, 지오데식 결정 경계가 데이터의 나무 모양 구조와 자연스럽게 일치함을 확인했다.