[論文レビュー] On the geometry of Bayesian graphical models with hidden variables

Raffaella Settimi, Jim Q. Smith|arXiv (Cornell University)|Jul 24, 1998

Bayesian Modeling and Causal Inference参考文献 9被引用数 36

ひとこと要約

本論文は、欠損データを伴うベイジアングラフィカルモデルにおける尤度関数および事後分布の幾何的構造を調査し、パラメータの同定不能性、事前分布への感受性、および典型的な事後分布の形状に関する洞察を明らかにする。尤度関数の多様体幾何学的解析を通じて、欠損データを伴う複雑なベイジアンネットワークへの応用が可能な基礎的知見を提供する。

ABSTRACT

In this paper we investigate the geometry of the likelihood of the unknown parameters in a simple class of Bayesian directed graphs with hidden variables. This enables us, before any numerical algorithms are employed, to obtain certain insights in the nature of the unidentifiability inherent in such models, the way posterior densities will be sensitive to prior densities and the typical geometrical form these posterior densities might take. Many of these insights carry over into more complicated Bayesian networks with systematic missing data.

研究の動機と目的

• 隠れ変数を含むベイジアン有向グラフィカルモデルにおける尤度関数の幾何的構造を理解すること。
• パラメータ空間の幾何的性質を通じて、このようなモデルにおける同定不能性がどのように生じるかを分析すること。
• 幾何的直観を用いて、事後密度が事前分布にどのように依存するかを調査すること。
• 隠れ変数が存在する状況における事後分布がとる典型的な幾何的形状を特徴づけること。
• 単純なモデルからの知見を、体系的な欠損データを伴うより複雑なベイジアンネットワークへと拡張すること。

提案手法

• モデルのパラメータ空間によって定義される多様体上における尤度関数を幾何的対象として分析する。
• 微分幾何学を用いて、隠れ変数を含むモデルにおける尤度関数の曲率および特異点を研究する。
• フィッシャー情報計量とパラメータ空間の幾何学の関係を検討する。
• 尤度関数の幾何学的洞察を応用し、さまざまな事前分布下での事後分布の性質を推論する。
• 構造的類似性を活用することで、単純なモデルの結果を欠損データを伴うより複雑なベイジアンネットワークへと拡張する。
• 数値最適化やシミュレーション手法に依存せず、パラメータ空間の理論的分析に依拠する。

実験結果

リサーチクエスチョン

• RQ1 尤度関数の幾何学的構造は、隠れ変数を伴うベイジアングラフィカルモデルにおける同定不能性をどのように明らかにするか？
• RQ2 幾何的構造を通じて、事後密度が事前分布の選択にどのように依存するか？
• RQ3 隠れ変数を伴うモデルにおける事後分布がとる典型的な幾何的形状は何か？
• RQ4 尤度関数の表面の幾何的性質は、推論アルゴリズムの収束性および挙動にどのように影響するか？
• RQ5 単純なモデルからの知見は、体系的な欠損データを伴うより複雑なベイジアンネットワークへどの程度一般化可能か？

主な発見

• 隠れ変数を伴うモデルにおける尤度関数は特異点および非正則な幾何的構造を示し、それにより本質的な同定不能性が生じる。
• パラメータ空間の退化した幾何的構造のため、事後密度は事前分布に極めて感受性を示す。
• 事後分布の典型的な形状は、尤度多様体の曲率および特異点によって制約を受ける。
• 幾何的解析により、隠れ変数を含むモデルでは、標準的な漸近的近似による事後密度の集中が失敗することが明らかになった。
• 隠れ変数を伴う単純なモデルからの知見は、体系的な欠損データを伴うより複雑なベイジアンネットワークへ一般化可能である。
• フィッシャー情報計量は、同定不能な構成に対応するパラメータ空間の領域で退化する。