[논문 리뷰] Gradient descent in hyperbolic space

Benjamin J. Wilson, Matthias Leimeister|arXiv (Cornell University)|2018. 05. 18.

Advanced Numerical Analysis Techniques참고 문헌 11인용 수 25

한 줄 요약

이 논문은 초구형 공간에서의 경사 하강법이 초구형 모델을 사용할 경우 간단하고 효율적이며, 기본적인 초구형 함수를 통해 정확한 지수 매핑 업데이트를 가능하게 함을 보여준다. 초구형 모델에서의 지수 매핑 업데이트는 프리셰트 평균을 계산할 때 푸앵카레 구 모델의 재구성 기반 근사치보다 평균 46% 빠르게 수렴함을 보여준다.

ABSTRACT

Gradient descent generalises naturally to Riemannian manifolds, and to hyperbolic $n$-space, in particular. Namely, having calculated the gradient at the point on the manifold representing the model parameters, the updated point is obtained by travelling along the geodesic passing in the direction of the gradient. Some recent works employing optimisation in hyperbolic space have not attempted this procedure, however, employing instead various approximations to avoid a calculation that was considered to be too complicated. In this tutorial, we demonstrate that in the hyperboloid model of hyperbolic space, the necessary calculations to perform gradient descent are in fact straight-forward. The advantages of the approach are then both illustrated and quantified for the optimisation problem of computing the Fréchet mean (i.e. barycentre) of points in hyperbolic space.

연구 동기 및 목표

• 초구형 모델을 사용하여 초구형 공간에서의 경사 하강법이 계산적으로 실현 가능하고 효율적임을 보여주는 것.
• 재구성 기반 근사치를 사용하는 푸앵카레 구 모델의 광범위한 사용을 도전하며, 이를 통해 피할 수 있는 오차를 제거하는 것.
• 초구형 최적화에서 정확한 지수 매핑 업데이트와 근사적인 재구성 방법 간의 성능 격차를 정량화하는 것.
• 초구형 공간에서 리만 최적화를 위한 실용적이고 수학적으로 타당한 프레임워크를 초구형 모델을 통해 제공하는 것.

제안 방법

• 초구형 $n$-공간을 민코프스키 공간 내 초구형 곡면에 매립하는 초구형 모델을 사용한다.
• 표준 리만 기하학을 사용하여 초구형 곡면에서 거리 함수의 기울기를 계산하며, $\cosh$와 $\sinh$를 포함한 닫힌 형태의 표현식을 사용한다.
• 초구형 함수를 사용하여 탄성 벡터를 지오데식 흐름으로 매핑하는 지수 매핑을 통해 정확한 경사 업데이트를 수행한다.
• 초구형 모델에서의 지수 매핑 업데이트를 푸앵카레 구 모델의 재구성 기반 업데이트와 비교한다.
• 초구형 공간 내 반지름 $r_{\text{max}}$ 의 원 안에서 균일한 랜덤 점을 생성하기 위해 역함수 샘플링을 사용한다.
• 고정된 학습률을 사용하여 프리셰트 평균으로부터 $10^{-4}$ 이내에 도달하는 데 걸리는 단계 수를 세어 수렴 속도를 측정한다.

실험 결과

연구 질문

• RQ1 초구형 모델을 사용하여 초구형 공간에서 정확한 리만 경사 하강법을 효율적으로 구현할 수 있는가?
• RQ2 초구형 모델에서의 지수 매핑 업데이트 수렴 속도는 푸앵카레 구 모델의 재구성 기반 방법과 비교하여 어떻게 다른가?
• RQ3 프리셰트 평균을 계산할 때 수렴까지의 단계 수 측면에서의 정량적 성능 격차는 무엇인가?
• RQ4 왜 푸앵카레 구 모델의 근사치 사용은 이전 연구에서 인기 있음에도 불구하고 비최적적인가?
• RQ5 초구형 모델의 계산적 단순성만으로도 푸앵카레 구 모델 대비 초구형 최적화에서의 채택을 정당화할 수 있는가?

주요 결과

• 초구형 모델에서의 경사 하강법는 유클리드 기하학이나 구면 기하학과 마찬가지로 매우 간단하며, 거리와 기울기에 대한 닫힌 형태의 표현식이 존재한다.
• 초구형 모델에서의 지수 매핑 업데이트는 단지 기본적인 초구형 함수($\cosh$, $\sinh$)만으로도 구현이 단순하고 효율적이다.
• 최적의 학습률에서 초구형 모델에서의 지수 매핑 업데이트는 프리셰트 평균에 수렴하는 데 평균 7.2단계가 필요하며, 재구성 기반 업데이트는 12.8단계가 소요된다.
• 최적의 학습률에서 지수 매핑 방법은 시험의 95.5%에서 재구성 기반 방법보다 먼저 해답 근처에 도달한다.
• 기울기 경향 분석을 통해 지수 매핑 방법은 재구성 기반 방법보다 약 46% 적은 경사 업데이트 수로 수렴을 달성함을 확인하였다.
• 푸앵카레 구 모델에서 재구성 기반 업데이트를 사용할 경우 정확한 초구형 모델의 지수 매핑 업데이트에 비해 심각하고 피할 수 없는 오차가 발생한다.