[논문 리뷰] Lagrangian and Hamiltonian Mechanics for Probabilities on the Statistical Manifold

Goffredo Chirco, Luigi Malagò외 1명|arXiv (Cornell University)|2020. 09. 20.

Statistical Mechanics and Entropy참고 문헌 22인용 수 5

한 줄 요약

이 논문은 통계다양체 위의 확률분포 공간에서 가속화된 자연경사운동을 위한 새로운 라그랑주 및 해밀토니안 프레임워크를 제시한다. 이는 통계다양체를 기반으로 한 힐베르트(bundle) 구조인 통계다양체(Bundle)를 사용한다. 이중 평행이동과 브레그만 산란을 통해 동역학을 수립함으로써, 가속 최적화를 비모수적 확률공간으로 일반화하는 일관된 오일러-라그랑주 및 해밀토니안 방정식을 유도한다. 이는 통계적 추론 및 머신러닝 응용 분야에서 효율적인 수렴을 가능하게 한다.

ABSTRACT

We provide an Information-Geometric formulation of Classical Mechanics on the Riemannian manifold of probability distributions, which is an affine manifold endowed with a dually-flat connection. In a non-parametric formalism, we consider the full set of positive probability functions on a finite sample space, and we provide a specific expression for the tangent and cotangent spaces over the statistical manifold, in terms of a Hilbert bundle structure that we call the Statistical Bundle. In this setting, we compute velocities and accelerations of a one-dimensional statistical model using the canonical dual pair of parallel transports and define a coherent formalism for Lagrangian and Hamiltonian mechanics on the bundle. Finally, in a series of examples, we show how our formalism provides a consistent framework for accelerated natural gradient dynamics on the probability simplex, paving the way for direct applications in optimization, game theory and neural networks.

연구 동기 및 목표

• 확률분포 공간에서의 가속 최적화를 위한 기하학적 역학 프레임워크를 개발하기 위해.
• 유구형 공간을 초월해 정보기하학적 구조에 통합된 가속 경사하강법을 확장하기 위해.
• 이중 평탄한 연결을 사용하여 통계다양체 위에서 속도, 가속도 및 동역학을 체계적으로 정의하기 위해.
• 통계다양체를 통한 변분원리와 정보기하학의 통합을 통해 확률함수 위에서 연속시간 동역학을 가능하게 하기 위해.
• 모멘텀 유사 가속을 갖는 자연경사운동을 사용한 통계모델 최적화를 위한 기초를 마련하기 위해.

제안 방법

• 유한한 표본공간 위의 양의 확률함수로 이루어진 비모수적 공간으로서 통계다양체를 수식화한다.
• 통계다양체를 로그미분과 쌍대 운동량을 통해 정의된 섬유별 접선 및 쌍대접선 공간을 갖는 힐베르트다양체로 도입한다.
• 이중 평행이동(표준 쌍)을 사용하여 다루의 기하학적 일관성을 확보함으로써, 다루의 평탄한 기하학을 유지하면서도 다루의 기하학적 일관성을 확보한다.
• 브레그만 산란을 기반으로 한 쿨백-라이블러 기반 라그랑주 및 해밀토니안을 유도하여 네스터프 스타일의 가속을 일반화한다.
• 피셔 정보계량과 지수가족 매개변수화를 사용하여 오일러-라그랑주 및 해밀토니안 시스템을 구성한다.
• 이론적 스케일링 조건 하에서 결과로 유도된 상미분방정식을 수치적으로 해결하고, 시뮬레이션을 통해 수렴 행동을 확인한다.

실험 결과

연구 질문

• RQ1 기하학적 역학을 사용하여 리만다양체인 확률분포 공간 위에서 가속 경사하강 운동을 어떻게 일관되게 수립할 수 있는가?
• RQ2 통계다양체는 통계역학에서 위치, 속도, 운동량을 어떻게 통합하는가?
• RQ3 이중 평행이동과 이중 평탄한 연결은 어떻게 확률밀도 공간에서 가속도의 일관된 정의를 가능하게 하는가?
• RQ4 브레그만 라그랑주를 사용하여 정보기하학에서 연속시간 최적화 방법의 연속형 유사체를 도출할 수 있는가?
• RQ5 제안된 프레임워크는 어떻게 네스터프의 모멘텀을 비-Euclidean 및 정보기하학적 환경으로 일반화하는가?

주요 결과

• 논문은 통계다양체 위에서 일관된 라그랑주 및 해밀토니안 수식을 도출하여, 2차 미분방정식을 통한 가속화된 자연경사운동 기술을 가능하게 한다.
• 가속도 항은 이중 평행이동을 통해 명시적으로 계산되며, 제곱된 스코어 기대값을 포함하는 기하학적으로 일관된 표현식을 제공한다.
• a=1, b=0 인 쿨백-라이블러 라그랑주에 대해 시스템은 안정적인 수렴 행동을 보이는 2N차원 상미분방정식계로 축소된다. 이는 수치 시뮬레이션을 통해 입증되었다.
• 이deal scaling 조건(p=2, C=0.5) 하에서 감쇠된 KL 라그랑주 시스템은 가속 수렴을 달성하며, 시간에 따라 변화하는 계수 αt 및 βt 가 모멘텀과 감쇠를 조절한다.
• 해밀토니안 수식은 운동량 진화가 로그우도항과 기울기 보정항에 의해 지배되는 결합된 상미분방정식계를 도출하며, 안정성과 효율성을 보장한다.
• 그림 2–4의 수치해는 제안된 동역학이 표준 자연경사운동보다 더 빠르게 수렴함을 확인하여, 머신러닝 최적화 분야에서 이 프레임워크의 잠재력을 검증한다.