[논문 리뷰] Projection based dimensionality reduction for measure valued evolution equations in statistical manifolds

Damiano Brigo, Giovanni Pistone|arXiv (Cornell University)|2016. 01. 16.

Statistical Mechanics and Entropy참고 문헌 17인용 수 4

한 줄 요약

이 논문은 포아송-플랭크 및 필터링 방정식과 같은 무한차원 측도가 변화하는 진화 방정식을 위한 차원 축소 방법을 제안한다. 이 방법은 지수 통계 다양체에서의 투영을 통해 이루어지며, 후행 확산 연산자 $\mathcal{L}$의 고유함수를 통해 정의된 유한차원 지수 및 혼합 가족에 투영함으로써, 피셔-레오 메트릭과의 일致성을 확보하고 최대우도推定기를 도출한다. 이는 기하학적으로 타당한 수렴 가능한 방법으로 복잡한 확률적 역학을 근사한다.

ABSTRACT

We propose a dimensionality reduction method for infinite-dimensional measure-valued evolution equations such as the Fokker-Planck partial differential equation or the Kushner-Stratonovich resp. Duncan-Mortensen-Zakai stochastic partial differential equations of nonlinear filtering, with potential applications to signal processing, quantitative finance, heat flows and quantum theory among many other areas. Our method is based on the projection coming from a duality argument built in the exponential statistical manifold structure developed by G. Pistone and co-authors. The choice of the finite dimensional manifold on which one should project the infinite dimensional equation is crucial, and we propose finite dimensional exponential and mixture families. This same problem had been studied, especially in the context of nonlinear filtering, by D. Brigo and co-authors but the $L^2$ structure on the space of square roots of densities or of densities themselves was used, without taking an infinite dimensional manifold environment space for the equation to be projected. Here we re-examine such works from the exponential statistical manifold point of view, which allows for a deeper geometric understanding of the manifold structures at play. We also show that the projection in the exponential manifold structure is consistent with the Fisher Rao metric and, in case of finite dimensional exponential families, with the assumed density approximation. Further, we show that if the sufficient statistics of the finite dimensional exponential family are chosen among the eigenfunctions of the backward diffusion operator then the statistical-manifold or Fisher-Rao projection provides the maximum likelihood estimator for the Fokker Planck equation solution. We finally try to clarify how the finite dimensional and infinite dimensional terminology for exponential and mixture spaces are related.

연구 동기 및 목표

• 무한차원 측도가 변화하는 진화 방정식을 위한 기하학적으로 타당한 차원 축소 방법을 개발한다.
• 이전의 $L^2$ 기반 투영의 한계를 해결하기 위해, 무한차원 지수 통계 다원체 프레임워크에 문제를 통합한다.
• 포아송-플랭크 해에 대해 통계 다원체 투영과 최대우도 추정 간의 일致성을 확립한다.
• 정보기하학에서 유한차원 및 무한차원 지수 및 혼합 가족 간의 관계를 명확히 한다.
• 다양체 차원이 증가함에 따라 유한차원 근사의 수렴성을 탐색한다.

제안 방법

• 피스톤 등이 개발한 지수 통계 다원체 구조를 활용하여, 확률 밀도의 공간을 비모수적, 무한차원 리만 다원체로 매장한다.
• 이중성 기반의 투영을 통해 무한차원 다원체에서 지수 및 혼합 가족으로 정의된 유한차원 부분다원체로 투영한다.
• 후행 확산 연산자 $\mathcal{L}$의 고유함수에서 유도된 충분통계량을 사용하여 유한차원 근사를 구성한다.
• 통계 다원체의 피셔-레오 메트릭과 일致하도록 투영을 정렬함으로써 기하학적 일관성을 확보한다.
• 수렴성과 근사 품질 분석을 위해 올리츠 공간과 소볼레프 유형의 추론을 활용한다.
• $L^2$ 직접 메트릭 투영과 통계 다원체 프레임워크를 연결하여, 혼합 가족 근사에서의 역할을 명확히 한다.

실험 결과

연구 질문

• RQ1 무한차원 측도가 변화하는 진화 방정식을 유한차원 지수 가족에 투영하는 것은 지수 통계 다원체 프레임워크 내에서 기하학적으로 일관되게 수행될 수 있는가?
• RQ2 후행 확산 연산자 $\mathcal{L}$의 고유함수를 지수 가족의 충분통계량으로 선택할 경우, 통계다원체 투영이 포아송-플랭크 방정식 해에 대해 최대우도 추정기를 도출하는가?
• RQ3 통계다원체 투영은 이전 연구에서 사용된 $L^2$ 직접 메트릭 투영과 어떻게 관련이 있는가?
• RQ4 다양체 차원이 증가함에 따라 유한차원 근사가 진짜 무한차원 해로 수렴하는 조건은 무엇인가?
• RQ5 이 프레임워크는 거친 경로에 의해 영향을 받는 진화 방정식을 다룰 수 있도록 확장될 수 있으며, 다양한 최적성 개념은 투영에 어떤 영향을 미치는가?

주요 결과

• 지수 다원체 구조 내에서의 투영은 피셔-레오 메트릭과 일치하여 근사 과정에서 기하학적 충실도를 보장한다.
• 지수 가족의 충분통계량을 연산자 $\mathcal{L}$의 고유함수로 선택할 경우, 통계다원체 투영은 포아송-플랭크 방정식 해에 대해 최대우도 추정기를 도출한다.
• 고유함수 통계량을 기반으로 한 유한차원 근사는 더 많은 고유함수를 포함함으로써 정확도를 체계적으로 향상시킬 수 있다.
• 이 방법은 이전의 $L^2$ 기반 접근법을 무한차원 통계다원체 프레임워크에 매장함으로써 더 깊은 기하학적 이해를 가능하게 한다.
• 충분통계량의 수열이 소볼레프 공간에서 기저를 이룰 경우, 특히 적절한 조건 하에서 유한차원 근사가 진짜 해로 수렴할 것이라는 추측이 가능하다.
• 이 프레임워크는 유한차원 및 무한차원 지수 및 혼합 가족 간의 관계를 명확히 하여, 다양한 맥락에서의 용어 혼동을 해소한다.