[논문 리뷰] A Geometric Formulation of Occam's Razor for Inference of Parametric Distributions

Vijay Balasubramanian|ArXiv.org|1996. 01. 08.

Bayesian Methods and Mixture Models참고 문헌 14인용 수 34

한 줄 요약

이 논문은 확률 분포 공간 내의 다양체로 모델 가족을 간주함으로써, 매개변수 모델 선택을 위한 기하학적 형식의 오카무의 날을 제안한다. 피셔 정보를 자연스러운 거리 척도로 사용하고, 분포 공간에서의 균일성에서 유도된 제프리스 사전을 통해 '날'—진정한 분포에 상대적인 모델 복잡도 측도—를 정의한다. 이는 베이지안 사후분포와 MDL 근사가 점점 커지는 표본 크기에서 이 '날'에 수렴함을 보여주며, 유한한 데이터에 대한 수정 사항은 모델의 강건성에 반영된다.

ABSTRACT

I define a natural measure of the complexity of a parametric distribution relative to a given true distribution called the {\it razor} of a model family. The Minimum Description Length principle (MDL) and Bayesian inference are shown to give empirical approximations of the razor via an analysis that significantly extends existing results on the asymptotics of Bayesian model selection. I treat parametric families as manifolds embedded in the space of distributions and derive a canonical metric and a measure on the parameter manifold by appealing to the classical theory of hypothesis testing. I find that the Fisher information is the natural measure of distance, and give a novel justification for a choice of Jeffreys prior for Bayesian inference. The results of this paper suggest corrections to MDL that can be important for model selection with a small amount of data. These corrections are interpreted as natural measures of the simplicity of a model family. I show that in a certain sense the logarithm of the Bayesian posterior converges to the logarithm of the {\it razor} of a model family as defined here. Close connections with known results on density estimation and ``information geometry'' are discussed as they arise.

연구 동기 및 목표

• 매개변수 추론에서 오카무의 날을 형식화하는 기하학적 모델 복잡도 측도를 개발하기.
• 코딩 이론과 무관하게 기하학적 및 통계적 불변성 원리에 기반해 제프리스 사전을 정당화하기.
• 진정한 분포에 상대적인 모델의 단순성과 정확도를 측정하는 '날'—기하학적 기준 복잡도 측도—를 정의하기.
• 베이지안 사후분포와 MDL가 이 '날'의 경험적 근사임을 보이고, 유한 표본에 대한 수정 사항을 제시하기.
• 베이지안 추론의 점점 커지는 행동을 정보 기하학과 해석 가능성 지수와 연결하기.

제안 방법

• 매개변수 모델 가족을 확률 분포 공간에 임bedded된 리만 다양체로 간주하기.
• 가설 검정과 국소 구별 가능성에서 유도된 피셔 정보 행렬을 사용해 매개변수 다양체 위에 기하학적 거리 척도를 정의하기.
• 근접한 분포들이 구별 불가능하고 변환에 대해 불변함을 요구함으로써 매개변수 다양체 위에 자연스러운 측도를 구성하고, 피셔 정보 행렬의 행렬식의 제곱근을 부피 요소로 삼기.
• 통계 물리학 기법(예: 라플라스 방법)을 사용해 '날'과 베이지안 사후분포의 로그를 점점 커지는 표본 크기에서 전개하기.
• 표본 크기의 역수(1/N)에 대한 점근 전개로 '날'을 유도하고, 각 항의 기하학적 의미를 해석하기.
• 베이지안 사후분포의 로그가 확률적으로 '날'의 로그로 수렴하며, 1/N 전개의 각 항에 대해 일치함을 보여주기.

실험 결과

연구 질문

• RQ1 매개변수 모델 선택의 맥락에서 오카무의 날을 어떻게 기하학적으로 형식화할 수 있는가?
• RQ2 통계적 구별 가능성과 불변성 원리를 반영하는 매개변수 다양체 위의 자연스러운 거리 척도와 측도는 무엇인가?
• RQ3 베이지안 사후분포는 모델 가족의 기하학적 복잡도 측도와 어떻게 관련이 있는가?
• RQ4 유한 표본 점근 해석에서 도출되는 MDL에 대한 수정 사항은 무엇이며, 이는 어떻게 모델의 강건성에 반영되는가?
• RQ5 제안된 '날'은 기존의 해석 가능성 지수나 확률적 복잡도와 어떻게 관련이 있는가?

주요 결과

• 피셔 정보 행렬은 매개변수 다양체 위의 자연스러운 리만 거리 척도를 제공하며, 이는 분포 간 통계적 거리에 해당한다.
• 피셔 정보 행렬의 행렬식의 제곱근은 매개변수 다양체 위에 기하학적으로 자연스러운 측도를 유도하며, 이는 분포 공간에서의 균일성에서 유도된 제프리스 사전과 동치이다.
• '날'—기하학적 복잡도 측도—는 진정한 분포에 상대적인 모델 정확도와 단순성의 상호 작용을 정량화한다.
• 베이지안 사후분포의 로그는 확률적으로 '날'의 로그로 수렴하며, 1/N 점근 전개의 각 항에 대해 일致한다.
• MDL의 유한 표본 수정 사항은 '날' 전개의 고차항에서 자연스럽게 도출되며, 이는 모델의 강건성에 반영된다.
• '날'은 해석 가능성 지수를 넘어서 모델 가족을 더 정교하게 분류하며, 고차항은 개선된 점근 근사를 제공한다.