[논문 리뷰] Ricci curvature for parametric statistics via optimal transport

Wuchen Li, Guido Montúfar|arXiv (Cornell University)|2018. 07. 18.

Geometric Analysis and Curvature Flows참고 문헌 34인용 수 17

한 줄 요약

이 논문은 워셔슈타인 통계 다양체에서 Kullback-Leibler 발산의 지오데식 볼록성에 기반하여, 매개변수 통계 모델에 대한 리치 곡률 하한의 새로운 개념을 제안한다. 이는 정보 기하학과 워셔슈타인 기하학을 통합한다. 주요 기여는 KL 발산의 헤시안을 통해 계산 가능한 하한을 제공하며, 이는 지수 가족 모델에서 워셔슈타인 경사 하강의 수렴 속도를 예측함을 보여주며, 매개변수 영역 전반에 걸쳐 실험적 검증을 통과한다.

ABSTRACT

We elaborate the notion of a Ricci curvature lower bound for parametrized statistical models. Following the seminal ideas of Lott-Strum-Villani, we define this notion based on the geodesic convexity of the Kullback-Leibler divergence in a Wasserstein statistical manifold, that is, a manifold of probability distributions endowed with a Wasserstein metric tensor structure. Within these definitions, the Ricci curvature is related to both, information geometry and Wasserstein geometry. These definitions allow us to formulate bounds on the convergence rate of Wasserstein gradient flows and information functional inequalities in parameter space. We discuss examples of Ricci curvature lower bounds and convergence rates in exponential family models.

연구 동기 및 목표

• 워셔슈타인 기하학과 정보 기하학을 사용하여 매개변수 통계 모델의 리치 곡률 하한을 정의한다.
• 매개변수 공간에서 워셔슈타인 경사 하강의 수렴 속도와 지오데식 볼록성 간의 관계를 설정한다.
• KL 발산의 헤시안에 기반한 계산 가능한 전역 기하 불변량을 제공하여 학습 수렴 속도를 하한화한다.
• 이 곡률 개념이 더 빠른 학습을 위한 모델 설계와 기초 거리 선택을 안내하는 데 유용함을 보여준다.
• Lott-Strübm-Villani 및 Erbar-Maas의 기본 아이디어를 이산 표본 공간 위의 매개변수 통계 모델로 확장한다.

제안 방법

• L²-워셔슈타인 계량 텐서를 갖춘 확률 분포의 매개변수화된 집합으로 워셔슈타인 통계 다양체를 정의한다.
• 이 다양체에서 KL 발산의 지오데식 볼록성에 기반하여 헤시안을 핵심 구성 요소로 사용해 리치 곡률 하한을 도입한다.
• 피셔-레오 계량, 워셔슈타인 계량, 매개변수화의 이阶도함수, 워셔슈타인 다양체의 크리스톼프 기호를 포함하는 행렬 부등식으로 곡률 조건을 기술한다.
• 매개변수 영역 전역에서 KL 발산의 헤시안의 최소 고유값을 사용해 곡률 하한을 추정한다.
• 여러 지수 가족 모델에서 워셔슈타인 경사 하강의 관측된 수렴 속도와 비교하여 하한을 실험적으로 검증한다.
• 이산 상태 공간에서의 수치 실험을 통해 헤시안 기반 곡률 하한이 항상 관측된 수렴 속도를 과소평가하거나 일치시킴을 보여준다.

실험 결과

연구 질문

• RQ1 워셔슈타인 기하학과 정보 기하학을 사용하여 통계 모델의 매개변수 공간에서 리치 곡률을 어떻게 정의할 수 있는가?
• RQ2 지수 가족 모델에서 워셔슈타인 경사 하강의 수렴 속도와 KL 발산의 지오데식 볼록성 간의 관계는 무엇인가?
• RQ3 KL 발산의 헤시안이 지수 가족에서 학습 알고리즘의 수렴 속도에 대해 계산 가능한 하한을 제공할 수 있는가?
• RQ4 기준 측도, 모델 구조, 표본 공간에서의 기초 거리 선택에 따라 곡률 하한은 어떻게 달라지는가?
• RQ5 곡률 하한이 통계 모델과 학습 알고리즘 설계에 어느 정도 기여하는가?

주요 결과

• 리치 곡률 하한은 워셔슈타인 통계 다양체에서 KL 발산의 지오데식 볼록성에 기반하여 정의되며, 학습 역학의 기하학적 특성화를 제공한다.
• 곡률 하한은 KL 발산의 헤시안의 최소 고유값으로 계산 가능하며, 이는 항상 관측된 수렴 속도의 하한으로 작용한다.
• 실험 결과는 매개변수 영역이 단체 경계에서 멀리 떨어져 있을 경우 헤시안 기반 곡률 하한이 수렴 속도를 잘 따라가며, 영역이 경계에 가까워질수록 간격이 증가함을 보여준다.
• 곡률 하한은 기준 측도, 통계 모델, 기초 거리에 따라 달라지며, 이는 모델 및 거리 설계를 안내하는 데 잠재적 활용 가능성을 시사한다.
• 이론적 및 실험적 결과는 양의 리치 곡률 하한이 지수 가족 모델에서 워셔슈타인 경사 하강의 수렴 속도를 빠르게 함을 확인한다.
• 이 프레임워크는 연속 표본 공간으로 자연스럽게 확장되며, 다른 f-발산과 계량 구조로의 일반화를 시사한다.