[논문 리뷰] Fully Hyperbolic Neural Networks

Weize Chen, Xu Han외 6명|arXiv (Cornell University)|2021. 05. 31.

Neural Networks and Applications인용 수 13

한 줄 요약

이 논문은 로렌츠 모델을 기반으로 한 완전한 쌍곡 신경망 프레임워크를 제안하며, 로렌츠 변환(보정 및 회전)을 사용하여 신경 연산을 직접 쌍곡 공간에서 수식화함으로써 안정적인 탄성 공간 매핑을 피한다. 이 방법은 기존의 하이브리드 쌍곡 신경망보다 더 뛰어난 성능과 안정성을 보이며, 특히 자연어 처리 작업에서 계층적 구조를 모델링하는 데 유리하다.

ABSTRACT

Hyperbolic neural networks have shown great potential for modeling complex data. However, existing hyperbolic networks are not completely hyperbolic, as they encode features in a hyperbolic space yet formalize most of their operations in the tangent space (a Euclidean subspace) at the origin of the hyperbolic space. This hybrid method greatly limits the modeling ability of networks. In this paper, we propose a fully hyperbolic framework to build hyperbolic networks based on the Lorentz model by adapting the Lorentz transformations (including boost and rotation) to formalize essential operations of neural networks. Moreover, we also prove that linear transformation in tangent spaces used by existing hyperbolic networks is a relaxation of the Lorentz rotation and does not include the boost, implicitly limiting the capabilities of existing hyperbolic networks. The experimental results on four NLP tasks show that our method has better performance for building both shallow and deep networks. Our code will be released to facilitate follow-up research.

연구 동기 및 목표

• 기존의 쌍곡 신경망이 탄성 공간에 의존하여 모델링 능력이 제한됨을 해결하기 위해.
• 로렌츠 변환을 사용하여 쌍곡 공간에서 직접 신경 연산을 수식화하는 완전한 쌍곡 프레임워크를 개발하기 위해.
• 이전의 탄성 공간에서의 선형 변환이 로렌츠 회전의 제한된 형태이며, 더 표현력이 뛰어난 로렌츠 보정을 배제한다는 것을 증명하기 위해.
• 유럽계 및 하이브리드 쌍곡 기준선과 비교하여 하류 자연어 처리 작업에서 더 뛰어난 성능, 빠른 속도, 더 높은 안정성을 보여주기 위해.
• 현재의 쌍곡 신경망 아키텍처에 대한 이론적으로 탄탄하고 수치적으로 안정적인 대안을 제공하기 위해.

제안 방법

• 수치적 안정성과 간단한 지수 및 로그 매핑 덕분에, 로렌츠 모델을 기반 쌍곡 공간으로 채택한다.
• 탄성 공간 연산을 로렌츠 변환—특히 로렌츠 보정과 회전—으로 대체하여, 완전한 쌍곡 선형 및 어텐션 레이어를 가능하게 한다.
• 완전한 쌍곡 신경망을 위한 핵심 연산으로서 로렌츠 변환을 유도하고 구현함으로써, 모든 계산이 쌍곡 공간 내에서 유지되도록 보장한다.
• 원점의 탄성 공간에서의 선형 연산이 로렌츠 회전의 제한된 형태임을 증명하며, 보정 성분이 누락되어 표현력이 제한됨을 밝힌다.
• 로렌츠 변환을 어텐션 및 피드포워드 레이어에 적용하는 완전한 쌍곡 트랜스포머 변형(HyboNet)을 설계한다.
• 쌍곡 공간 내에서 연산 간 기하학적 일致성을 유지하기 위해, 거리 보존 이등변을 활용한다.

실험 결과

연구 질문

• RQ1 탄성 공간 투영에 의존하지 않고 신경망 연산을 쌍곡 공간에서 완전히 수식화할 수 있는가?
• RQ2 기존의 쌍곡 신경망에서 누락되었던 로렌츠 보정의 포함이 모델의 표현력과 성능에 어떤 영향을 미치는가?
• RQ3 하이브리드 또는 유클리드 기준선과 비교해, 완전한 쌍곡 프레임워크가 계층적 자연어 처리 작업에서 안정성, 수렴 속도, 성능 향상에 기여하는가?
• RQ4 로렌츠 변환이 계층적 데이터 구조를 포착하는 데 있어 탄성 공간 선형 연산보다 얼마나 뛰어나게 작용하는가?
• RQ5 완전한 쌍곡 신경망이 지식 그래프 임bedding, 엔티티 타이핑, 의존성 구문 분석과 같은 다양한 자연어 처리 작업에 일반화 가능한가?

주요 결과

• 제안된 완전한 쌍곡 네트워크인 HyboNet은 지식 그래프 임베딩 및 의존성 트리 탐색을 포함한 네 가지 자연어 처리 작업에서 유클리드 및 하이브리드 쌍곡 기준선을 모두 능가한다.
• IWSLT’14에서 의존성 트리 탐색 작업에서 HyboNet은 UUAS 0.59와 Dspr. 0.70을 기록하여 HAtt( uuas: 0.50, dspr.: 0.64)와 유클리드 트랜스포머를 크게 앞서며 뚜렷한 성능 향상을 보였다.
• 의존성 구문 분석에서 루트%는 64를 기록하여 문법적 루트 예측 능력이 뛰어나다는 것을 나타낸다.
• 하이브리드 쌍곡 네트워크가 비용이 많이 드는 로그 및 지수 매핑을 사용하는 데 비해, HyboNet은 더 빠른 수렴과 더 빠른 학습을 달성했다.
• 제거 실험을 통해 로렌츠 보정이 필수적임을 확인하였으며, 이전 방법에서의 누락이 모델링 능력을 제한함을 입증하였다.
• 더 높은 성능에도 불구하고 HyboNet은 유클리드 네트워크보다 느리며, 부동소수점 오류로 인해 반정밀도 학습을 사용할 수 없어 정확성과 효율성 사이의 상충 관계가 있음을 시사한다.