[논문 리뷰] Nonparametric Information Geometry

Giovanni Pistone|arXiv (Cornell University)|2013. 06. 03.

Statistical Mechanics and Entropy참고 문헌 2인용 수 12

한 줄 요약

이 논문은 오르리치 공간에 기반한 반바나흐 다양체를 사용하여, 중심화된 로그우도를 통한 양성 확률밀도의 매개변수화를 포함하는 비모수 정보기하학 프레임워크를 개발한다. 주요 기여는 비모수 모델로의 일반화를 통해 양성 밀도의 공간에 엄밀한 미분기하학적 구조를 제공하는 것으로, 미분방정식 및 메트릭 접속과의 응용을 포함한다.

ABSTRACT

The differential-geometric structure of the set of positive densities on a given measure space has raised the interest of many mathematicians after the discovery by C.R. Rao of the geometric meaning of the Fisher information. Most of the research is focused on parametric statistical models. In series of papers by author and coworkers a particular version of the nonparametric case has been discussed. It consists of a minimalistic structure modeled according the theory of exponential families: given a reference density other densities are represented by the centered log likelihood which is an element of an Orlicz space. This mappings give a system of charts of a Banach manifold. It has been observed that, while the construction is natural, the practical applicability is limited by the technical difficulty to deal with such a class of Banach spaces. It has been suggested recently to replace the exponential function with other functions with similar behavior but polynomial growth at infinity in order to obtain more tractable Banach spaces, e.g. Hilbert spaces. We give first a review of our theory with special emphasis on the specific issues of the infinite dimensional setting. In a second part we discuss two specific topics, differential equations and the metric connection. The position of this line of research with respect to other approaches is briefly discussed.

연구 동기 및 목표

• 모수적 지수가족 기하학을 비모수 설정으로 확장하여, 양성 확률밀도의 공간에 고전적인 반바나흐 다양체 구조를 수립한다.
• 무한차원 통계모형에서 오르리치 공간을 다룰 때 발생하는 기술적 과제를 해결하기 위해 다항식 성장성을 갖는 변형 지수함수를 도입한다.
• 처리 가능한 반바나흐 공간 모델을 통해 비모수 통계에서의 실용적 계산과 기하학적 분석을 가능하게 한다.
• 오르리치 및 L^ϕ,p 공간을 사용하여 피셔 정보 메트릭과 지수 연결을 무한차원 설정으로 일반화한다.
• 정보기하학, 미분방정식, 다양체 위의 힐베르트 번들의 구조 간의 관계를 탐색한다.

제안 방법

• 각 양성 밀도 $ p $ 는 $ q \to u $ 를 맵핑하는 차트 $ s_p $ 를 통해 표현되며, 여기서 $ u = \text{ln}_\text{ϕ}(q) - \text{ln}_\text{ϕ}(p) - \text{E}_{\text{ϕ}(p)}[\text{ln}_\text{ϕ}(q) - \text{ln}_\text{ϕ}(p)] $ 로 정의되며, 중심화된 랜덤 변수의 오르리치 공간 $ B_p $ 로 사상된다.
• 젊의 쌍 $ (\text{ϕ}, \text{ϕ}^{-1}) $ 를 사용하여 변형 지수함수 $ \text{exp}_\text{ϕ} $ 를 정의하고, 표준 지수함수의 대체로 사용하여 다항식 성장성과 힐베르트 공간 호환성을 확보한다.
• 모수 $ \text{ϕ} $-모멘트 생성 함수 functional $ L^{\text{ϕ},p}(v) = \text{E}_\text{μ}[\text{exp}_\text{ϕ}(v + \text{ln}_\text{ϕ}(p))] $ 를 정의하며, 이는 $ L^{\text{ϕ},p}(\text{μ}) $ 에서 정의되며 적분 가능성과 볼록성을 보장한다.
• 변형 누산생성함수 $ K_p(u) $ 는 $ k \to \text{E}_\text{ϕ}(p)[\text{exp}_\text{ϕ}(u - k + \text{ln}_\text{ϕ}(p))] \to 1 $ 의 상한으로 정의되며, 밀도 $ q = \text{exp}_\text{ϕ}(u - K_p(u) + \text{ln}_\text{ϕ}(p)) $ 의 정규화를 보장한다.
• 차트 $ s_p $ 와 $ s_{p'} $ 간의 매끄러운 전이 맵핑을 통해 다양체 구조를 수립하며, $ s_{p'} \text{∘} s_p^{-1} $ 가 반바나흐 공간의 열린 부분집합 간의 매끄러운 함수임을 보장한다.
• 다양체 위의 메트릭 접속과 힐베르트 번들의 구조를 분석하여, $ K_p $ 가 엄격히 볼록하고, 하부 연속적이며, 정의도메인 내부에서 미분 가능하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 모수적 제약 없이 양성 밀도의 무한차원 공간으로 고전적 지수가족 기하학을 어떻게 확장할 수 있는가?
• RQ2 오르리치 공간은 양성 밀도의 공간에 반바나흐 다양체 구조를 구성하는 데 어떤 역할을 하는가?
• RQ3 다항식 성장성을 갖는 변형 지수함수는 지수함수를 대체하여 더 처리 가능한 반바나흐 공간(예: 힐베르트 공간)을 제공할 수 있는가?
• RQ4 비모수 정보기하학의 맥락에서 미분방정식은 어떻게 자연스럽게 유도되는가?
• RQ5 $ \text{ϕ} $-누산생성함수와 그 도함수의 기하학적 의미는 메트릭 접속 측면에서 무엇인가?

주요 결과

• 양성 밀도의 공간 $ \text{𝒫}_{>} $ 는 중심화된 로그우도를 통한 차트로 정의된 오르리치 공간 $ B_p $ 에 기반한 반바나흐 다양체 구조를 갖는다.
• $ \text{ϕ} $-누산생성함수 $ K_p(u) $ 는 정의도메인 내부에서 유한하고 미분 가능하며, 도함수 $ D K_p(u) v = \text{E}_{\text{ϕ}(q)}[v] $ 를 만족하여 다양체의 매끄러움을 보장한다.
• $ \text{ϕ}(u) = \text{e}^u - 1 $ 인 경우, $ \text{ϕ} $-중심화된 변수가 $ L^2 $ 에 속할 때 해당 공간은 힐베르트 공간과 동형이며, 실용적 계산이 가능하다.
• $ \text{ϕ} $-모멘트 생성 함수의 적절한 정의도메인은 $ L^{\text{ϕ},p}(\text{μ}) $ 에서 반지름 1인 열린 공을 포함하며, 국소적 적분 가능성을 보장한다.
• $ u \to q = \text{exp}_\text{ϕ}(u - K_p(u) + \text{ln}_\text{ϕ}(p)) $ 의 사상은 $ K_p $ 의 정의도메인에서 $ \text{𝒫}_{>} $ 로의 전단사함수이며, 전체 매개변수화를 보장한다.
• $ \text{ln}_\text{ϕ}(q) - \text{ln}_\text{ϕ}(p) \notin L^{\text{ϕ},p}(\text{μ}) $ 인 경우, 해당 $ u $ 는 $ K_p $ 의 정의도메인 외부에 위치하며 기하학적 특이성을 나타낸다.