[논문 리뷰] Operator-valued formulas for Riemannian Gradient and Hessian and families of tractable metrics in optimization and machine learning

Du Nguyễn|arXiv (Cornell University)|2020. 09. 21.

Topological and Geometric Data Analysis인용 수 5

한 줄 요약

이 논문은 비정상적인 내적 공간에 매bed된 접공간을 가진 다양체에서 리만 기울기와 헤시안의 연산자 값 공식을 제시한다. 이는 투영 기반 리베이-시비타 접속을 활용한다. 이는 스티펠 다양체, 낮은 질량의 양측정 정재 행렬, 플래그 다양체에 대한 새로운 종류의 계량에서 기하학적 길과 기호적 최적화 양의 계산을 가능하게 하며, 최적화 및 머신러닝에서 다룰 수 있는 계량의 범위를 크게 확장한다.

ABSTRACT

We provide an explicit formula for the Levi-Civita connection and Riemannian Hessian when the {\it tangent space} at each point of a Riemannian manifold is embedded in an inner product space with a non-constant metric. Together with a classical formula for projection, this allows us to evaluate Riemannian gradient and Hessian for several families of metric extending existing ones on classical manifolds: a family of metrics on Stiefel manifolds connecting both the constant and canonical ambient metrics with closed-form geodesics; a family of quotient metrics on a manifold of positive-semidefinite matrices of fixed rank, considered as a quotient of a product of Stiefel and positive-definite matrix manifold with affine-invariant metrics; a large family of new metrics on flag manifolds. We show in many instances, this method allows us to apply symbolic calculus to derive formulas for the Riemannian gradient and Hessian. The method greatly extends the list of potential metrics that could be used in manifold optimization and machine learning.

연구 동기 및 목표

• 기존의 표준적이고 정상적인 계량을 초월하여 최적화 및 머신러닝에서 다룰 수 있는 리만 계량의 범위를 확장하기.
• 접공간이 비정상적인 계량을 가진 내적 공간에 매bed된 경우 리베이-시비타 접속과 리만 헤시안에 대한 명시적 공식 유도하기.
• 스티펠, 낮은 질량의 양측정 정재, 플래그 다양체를 포함한 새로운 종류의 다양체에서 리만 기울기와 헤시안의 기호적 미분 계산을 가능하게 하기.
• 스티펠 다양체에서 정상적이고 표준적인 환경 계량 사이를 보간하는 폐쇄형 기하학적 길을 갖는 계량의 가족을 구성하기.
• 곱 다양체의 아핀 불변 구조를 사용하여 고정 질량의 양측정 정재 행렬에 대한 몫 계량을 개발하기.

제안 방법

• 비정상적인 계량을 가진 환경 내적 공간에 매bed된 접공간에 투영함으로써 리베이-시비타 접속 유도하기.
• 고전적인 투영 공식을 적용하여 리만 헤시안을 환경 계량과 접공간 기하학의 관계로 표현하기.
• 연산자 값 표현을 사용하여 계량, 기울기, 헤시안을 표현함으로써 기호적 연산과 폐쇄형 평가 가능하게 하기.
• 정상적이고 표준적인 환경 계량 사이를 보간함으로써 스티펠 다양체에 대한 새로운 계량 가족을 구성하고, 이는 폐쇄형 기하학적 길을 유도한다.
• 스티펠 다양체와 양측정 정재 다양체의 곱의 몫으로 고정 질량의 양측정 정재 행렬에 대한 몫 계량을 정의하며, 이는 아핀 불변 계량을 사용한다.
• 이 틀을 플래그 다양체에 적용하여 최적화에 적합한 새로운 대규모 리만 계량의 가족을 도입한다.

실험 결과

연구 질문

• RQ1 접공간에 비정상적이고 연산자 값 계량을 가진 다양체에서 리만 헤시안과 기울기를 체계적으로 어떻게 계산할 수 있는가?
• RQ2 스티펠 다양체에서 어떤 종류의 리만 계량이 폐쇄형 기하학적 길을 가지며 최적화 양의 기호적 계산을 가능하게 하는가?
• RQ3 고정 질량의 양측정 정재 행렬에 대한 몫 계량은 아핀 불변 구조를 사용하고 환경 내적 공간에 매bed될 수 있는가?
• RQ4 제안된 연산자 값 틀을 사용하여 플래그 다양체에 어떤 새로운 종류의 다룰 수 있는 계량을 정의할 수 있는가?
• RQ5 투영 기반 리베이-시비타 접속 공식은 기존의 다양체 최적화 접근법을 얼마나 일반화하는가?

주요 결과

• 논문은 비정상적인 환경 계량을 가진 접공간에 투영함으로써 일반적인 연산자 값 공식을 도출하여 리만 헤시안과 기울기를 유도한다.
• 정상적이고 표준적인 환경 계량 사이를 보간하는 스티펠 다양체에 대한 계량의 가족이 구성되며, 이는 폐쇄형 기하학적 길을 유도한다.
• 아핀 불변 계량을 사용한 곱 다양체 구조를 통해 고정 질량의 양측정 정재 행렬에 대한 몫 계량이 정의되며, 이는 다룰 수 있는 최적화를 가능하게 한다.
• 이 틀은 스티펠, 낮은 질량의 양측정 정재, 플래그 다양체를 포함한 여러 다양체 유형에서 리만 최적화 양의 기호적 미분 계산을 지원한다.
• 폐쇄형 표현과 효율적인 계산을 가능하게 하여 최적화 및 머신러닝에 적합한 리만 계량의 집합을 크게 확장한다.
• 비정상적이고 복잡한 계량을 가진 다양한 다양체에서 리만 헤시안과 기울기 공식을 유도하는 통합 틀을 제공한다.