[논문 리뷰] The Numerical Stability of Hyperbolic Representation Learning

Gal Mishne, Zhengchao Wan외 2명|arXiv (Cornell University)|2022. 10. 31.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 64비트 부동소수점 산술 하에서 히perspacial 표현 학습의 수치적 불안정성 문제를 특정하고, 특히 Poincaré 구와 Lorentz 모델에서 이를 분석한다. 이는 표현 및 최적화의 한계를 해결하는 유클리드 매개변수화를 제안하며, 기존 모델들보다 초월적 SVM 및 트리 임베딩 작업에서 뛰어난 성능을 보여준다.

ABSTRACT

Given the exponential growth of the volume of the ball w.r.t. its radius, the hyperbolic space is capable of embedding trees with arbitrarily small distortion and hence has received wide attention for representing hierarchical datasets. However, this exponential growth property comes at a price of numerical instability such that training hyperbolic learning models will sometimes lead to catastrophic NaN problems, encountering unrepresentable values in floating point arithmetic. In this work, we carefully analyze the limitation of two popular models for the hyperbolic space, namely, the Poincaré ball and the Lorentz model. We first show that, under the 64 bit arithmetic system, the Poincaré ball has a relatively larger capacity than the Lorentz model for correctly representing points. Then, we theoretically validate the superiority of the Lorentz model over the Poincaré ball from the perspective of optimization. Given the numerical limitations of both models, we identify one Euclidean parametrization of the hyperbolic space which can alleviate these limitations. We further extend this Euclidean parametrization to hyperbolic hyperplanes and exhibits its ability in improving the performance of hyperbolic SVM.

연구 동기 및 목표

• 64비트 부동소수점 산술 하에서 Poincaré 구와 Lorentz 모델의 수치적 안정성 제약을 분석하기 위해.
• 이 모델들의 최적화 행동을 이론적으로 비교하며, 특히 기울기 소실 현상에 초점을 맞추기 위해.
• 기존 모델에서 발생하는 표현 및 최적화 문제를 해결하는 초월적 공간의 유클리드 매개변수화를 제안하기 위해.
• 초월적 SVM 및 계층적 데이터 임베딩과 같은 실용적 응용 분야에서 새로운 매개변수화를 검증하기 위해.

제안 방법

• 논문은 64비트 부동소수점 정밀도 하에서 Poincaré 구와 Lorentz 모델의 표현 능력에 대한 기하학적 분석을 수행한다.
• 기울기 동역학에 대한 이론적 분석을 제공하며, Lorentz 모델이 Poincaré 모델보다 기울기 소실 현상에 덜 취약하다는 것을 보여준다.
• Poincaré 모델과 Lorentz 모델이 내재한 수치적 오버플로우 및 언더플로우 문제를 피하는 새로운 유클리드 매개변수화를 도입한다.
• 이 방법은 유클리드 매개변수화를 초월적 평면으로 확장하여, 초월적 SVM과 같은 구조적 예측 작업에서의 활용을 가능하게 한다.
• 제안된 LSVMPP 모델은 유클리드 매개변수화를 초월적 SVM에 적용하며, 아크코시함수 변환과 Platt 스케일링을 사용해 확률 캘리브레이션을 향상시킨다.
• 실험은 시뮬레이션 및 실세계 데이터셋에서 LSVMPP를 Lorentz SVM, 유클리드 SVM, Poincaré 기반 SVM과 비교하며, 일관된 학습 및 평가 프로토콜을 사용한다.

실험 결과

연구 질문

• RQ1 64비트 부동소수점 산술 하에서 Poincaré 구와 Lorentz 모델의 수치적 표현 한계는 무엇인가?
• RQ2 Poincaré 모델과 유사한 표현 능력을 지닌 데도 Lorentz 모델이 최적화에서 실제로 더 잘 성능을 내는 이유는 무엇인가?
• RQ3 초월적 공간의 유클리드 매개변수화가 동시에 수치적 불안정성 문제를 해결하고 최적화의 이점을 유지할 수 있는가?
• RQ4 제안된 매개변수화는 초월적 SVM 및 트리 임베딩 작업에서 성능을 어떻게 향상시키는가?
• RQ5 유클리드 매개변수화는 계층적 데이터 표현에서 기존 초월적 모델보다 더 나은 일반화 성능을 제공하는가?

주요 결과

• Poincaré 구 모델은 오버플로우를 방지하는 유한한 성질 덕분에 64비트 산술 하에서 Lorentz 모델보다 더 높은 표현 능력을 지닌다.
• Lorentz 모델은 기울기 소실 현상이 덜 발생하므로 최적화 행동이 뛰어나며, 이는 논문에서 이론적으로 검증되었다.
• 제안된 유클리드 매개변수화는 Poincaré 모델과 Lorentz 모델에서 발생하는 수치적 불안정성 문제를 완전히 제거한다.
• 유클리드 매개변수화를 기반으로 한 LSVMPP는 CIFAR-10에서 평균 정확도 91.96%와 F1 점수 0.9197을 기록하며, 모든 기준 모델을 초월한다.
• Fashion-MNIST에서 LSVMPP는 89.49%의 정확도와 0.8955의 F1 점수를 기록했으며, Lorentz SVM(71.59% 정확도)보다 뚜렷하게 뛰어나 계층적 데이터에서의 강건성을 입증했다.
• 유클리드 매개변수화는 안정적인 학습을 가능하게 하며, 초점점 선택이 초월적 평면 학습 과정과 독립적인 PSVM과 비교해 더 나은 성능을 내는 데 기여한다.