[논문 리뷰] The nonparametric Fisher geometry and the chi-square process density prior

Andrew J. Holbrook, Shiwei Lan외 2명|arXiv (Cornell University)|2017. 07. 11.

Bayesian Methods and Mixture Models참고 문헌 34인용 수 3

한 줄 요약

이 논문은 비모수적 피셔 기하학을 사용하는 새로운 베이지안 비모수 밀도 추정 모델을 제안하며, 이는 제곱근 밀도의 무한차원 구면과 동치임을 보여준다. 제곱근 밀도를 제한된 가우시안 프로세스 사전분포로 모델링하고 카르누엔-로프레 전개를 활용함으로써, 구면 해밀턴 몽테카를로(구면 HMC)를 통해 빠른 추론이 가능해지며, 이는 계산 효율성과 사후 유연성을 보장하는 χ²-과정 밀도 사전분포를 도출한다. 이는 유한차원에서의 구면 HMC와 무한차원에서의 리만 기하학적 HMC 간의 관계를 수학적으로 정립한다.

ABSTRACT

It is well known that the Fisher information induces a Riemannian geometry on parametric families of probability density functions. Following recent work, we consider the nonparametric generalization of the Fisher geometry. The resulting nonparametric Fisher geometry is shown to be equivalent to a familiar, albeit infinite-dimensional, geometric object---the sphere. By shifting focus away from density functions and toward \emph{square-root} density functions, one may calculate theoretical quantities of interest with ease. More importantly, the sphere of square-root densities is much more computationally tractable. This insight leads to a novel Bayesian nonparametric density estimation model. We construct the $χ^2$-process density prior by modeling the square-root density with a restricted Gaussian process prior. Inference over square-root densities is fast, and the model retains the flexibility characteristic of Bayesian nonparametric models. Finally, we formalize the relationship between spherical HMC in the infinite-dimensional limit and standard Riemannian HMC.

연구 동기 및 목표

• 모수적 모델을 초월해 피셔 정보 기하학을 비모수 밀도 가족으로 확장하기.
• 비모수적 피셔 기하학과 제곱근 밀도의 무한차원 L² 구면 간의 동치성을 확립하기.
• 완전한 사후 추론 능력을 갖춘 계산적으로 효율적인 베이지안 비모수 밀도 추정 모델 개발하기.
• 유한차원에서의 구면 HMC와 무한차원 극한에서의 리만 기하학적 HMC 간의 관계를 수학적으로 정립하기.
• 후행 샘플링과 밀도 추정, 점과정 응용을 통해 χ²-과정 사전분포의 실용적 유용성을 입증하기.

제안 방법

• 논문은 제곱근 밀도를 딜라크 측도를 통해 무한차원 구면에 제한된 가우시안 프로세스 사전분포로 모델링한다.
• 제곱근 밀도를 정규직교 고유함수 기반으로 표현하기 위해 가우시안 프로세스 사전분포의 카르누엔-로프레(K-L) 전개를 활용한다.
• K-L 전개를 유한차원 계수의 구면으로 잘라내어 추론을 유한차원으로 축소함으로써 효율적인 계산을 가능하게 한다.
• 유한차원 K-L 계수의 구면에서 사후 샘플링을 위해 구면 해밀턴 몽테카를로(HMC)를 사용한다.
• 가우시안 프로세스 사전분포의 제곱은 χ²-과정 밀도 사전분포를 도출하며, 이는 베이지안 밀도 추정에 사용된다.
• 지오데식 역학을 통해 유한차원 극한에서의 구면 HMC와 리만 기하학적 HMC 간의 동치성을 이론적으로 정립한다.

실험 결과

연구 질문

• RQ1 비모수적 피셔 기하학은 무한차원 제곱근 밀도의 구면과 어떻게 관련이 있는가?
• RQ2 K-L 전개를 통해 제곱근 밀도에 대한 가우시안 프로세스 사전분포를 구면에 정확히 제한할 수 있는가?
• RQ3 유한차원 구면에서의 구면 HMC와 무한차원 극한에서의 리만 기하학적 HMC 간의 관계는 무엇인가?
• RQ4 기존 방법과 비교해 χ²-과정 밀도 사전분포는 베이지안 밀도 추정에서 어떻게 성능을 발휘하는가?
• RQ5 χ²-과정 사전분포는 점과정 강도 추정을 위한 코크스 과정과 같은 계층 모형에 효과적으로 활용될 수 있는가?

주요 결과

• 확률 밀도의 공간에서의 비모수적 피셔 기하학은 수학적으로 제곱근 밀도의 무한차원 L² 구면과 동치이다.
• 제곱근 밀도의 사용은 기하학을 구면으로 변형함으로써, 구면 HMC를 통한 계산적으로 타당한 추론을 가능하게 한다.
• 가우시안 프로세스 사전분포의 K-L 전개를 통해 구면에 대한 정확한 제한이 가능하며, 이는 데이터 크기와 선형 비례하는 계산 복잡도를 보장한다.
• 제곱된 가우시안 프로세스 사전분포에서 유도된 χ²-과정 밀도 사전분포는 빠른 사후 샘플링을 가능하게 하며, 최소한의 가정으로 타당한 밀도 실현값을 생성한다.
• 유한차원 K-L 계수의 구면에서의 구면 HMC는 무한차원 극한에서의 리만 기하학적 HMC와 대응되며, 이는 핵심 이론적 연결을 수립한다.
• 모델은 효율적인 사후 계산을 달성하며, 강도 함수를 척도 파ameter와 χ²-과정 밀도의 곱으로 모델링하는 코크스 과정과 같은 복잡한 모형에 적용 가능하다.