[論文レビュー] A Geometric Formulation of Occam's Razor for Inference of Parametric Distributions

Vijay Balasubramanian|ArXiv.org|Jan 8, 1996

Bayesian Methods and Mixture Models参考文献 14被引用数 34

ひとこと要約

この論文は、確率分布空間における多様体としてのモデル族を扱うことにより、パrametricモデル選択におけるオッカムの剃刀の幾何的定式化を導入する。フィッシャー情報量を自然な計量とし、分布空間における一様性からジェフリーズ事前分布を導出することで、真の分布に対するモデルの複雑さを測る「剃刀」（razor）を定義する。ベイズ後立確度とMDL近似が、この剃刀に漸近的に収束することを示し、有限データに対する補正項がモデルのロバストネスを反映していることを明らかにする。

ABSTRACT

I define a natural measure of the complexity of a parametric distribution relative to a given true distribution called the {\it razor} of a model family. The Minimum Description Length principle (MDL) and Bayesian inference are shown to give empirical approximations of the razor via an analysis that significantly extends existing results on the asymptotics of Bayesian model selection. I treat parametric families as manifolds embedded in the space of distributions and derive a canonical metric and a measure on the parameter manifold by appealing to the classical theory of hypothesis testing. I find that the Fisher information is the natural measure of distance, and give a novel justification for a choice of Jeffreys prior for Bayesian inference. The results of this paper suggest corrections to MDL that can be important for model selection with a small amount of data. These corrections are interpreted as natural measures of the simplicity of a model family. I show that in a certain sense the logarithm of the Bayesian posterior converges to the logarithm of the {\it razor} of a model family as defined here. Close connections with known results on density estimation and ``information geometry'' are discussed as they arise.

研究の動機と目的

• パラメトリック推論におけるオッカムの剃刀を形式化する幾何的モデル複雑度の測度を開発すること。
• コーディング理論に依存せずに、幾何的および統計的不変性の原則からジェフリーズ事前分布を正当化すること。
• 「剃刀」——真の分布に対するモデルの単純さと正確さの標準的測度——を定義すること。
• ベイズ後立確度とMDLが、この剃刀の経験的近似を与えること、および有限標本補正がモデルのロバストネスを反映することを示すこと。
• ベイズ推論の漸近的挙動を情報幾何と解明可能性インデックスと結びつけること。

提案手法

• パラメトリックモデル族を確率分布空間に埋め込まれたリーマン多様体として扱う。
• 仮説検定と局所的区別可能性から導かれるフィッシャー情報量行列を用いて、パラメータ多様体上の標準的計量を定義する。
• 近接する分布が区別不能であることと、平行移動不変性を要求することで、パラメータ多様体上の自然な測度を構成し、フィッシャー情報量行列の行列式の平方根を体積要素とする。
• 統計物理学の技術（例：ラプラス法）を用いて、剃刀およびベイズ後立確度の対数の漸近的展開を行う。
• 標本サイズの逆数（1/N）における漸近的展開として剃刀を導出し、各項に幾何的解釈を与える。
• ベイズ後立確度の対数が、1/N 展開の各項において、確率的に剃刀の対数に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックモデル選択の文脈において、オッカムの剃刀をどのように幾何的に形式化できるか？
• RQ2 統計的区別可能性と不変性を反映するパラメータ多様体上の自然な計量と測度は何か？
• RQ3 ベイズ後立確度は、モデル族の幾何的複雑度測度とどのように関係するか？
• RQ4 有限標本における漸近的展開から、MDLにどのような補正が生じるか？ そしてそれらはどのようにモデルのロバストネスを反映するか？
• RQ5 提案された剃刀は、既存のインデックス（例：解明可能性インデックス、確率的複雑度）とどのように関係するか？

主な発見

• フィッシャー情報量行列は、パラメータ多様体上に自然なリーマン計量を提供し、分布間の統計的距離に対応する。
• フィッシャー情報量行列の行列式の平方根は、パラメータ多様体上に標準的測度を定め、分布空間における一様性から導かれるジェフリーズ事前分布と等価である。
• 「剃刀」——幾何的複雑度測度——は、真の分布に対するモデルの正確さと単純さのトレードオフを定量化する。
• ベイズ後立確度の対数が、1/N 漸近展開の各項において、確率的に剃刀の対数に収束する。
• MDLの有限標本補正は、剃刀展開の高次項から自然に導かれるものであり、モデルのロバストネスを反映している。
• 剃刀は解明可能性インデックスを越えてモデル族を精緻に分類でき、下位項が改善された漸近的近似を提供する。