[論文レビュー] Marginal Likelihood Integrals for Mixtures of Independence Models

Shaowei Lin, Bernd Sturmfels+1 more|ArXiv.org|May 23, 2008

Bayesian Methods and Mixture Models参考文献 17被引用数 16

ひとこと要約

本稿では、小さな標本サイズにおける独立性モデルの混合について、ベイズ統計における周辺尤度積分を正確に計算する代数的アルゴリズムを提示する。幾何的組合せ論とニュートン・ゾノトープ上の記号的積分を活用することで、著者たちは正確に有理数値をとる周辺尤度を計算し、通常は数値近似が必要とされる状況においても実行可能であることを示している。

ABSTRACT

Inference in Bayesian statistics involves the evaluation of marginal likelihood integrals. We present algebraic algorithms for computing such integrals exactly for discrete data of small sample size. Our methods apply to both uniform priors and Dirichlet priors. The underlying statistical models are mixtures of independent distributions, or, in geometric language, secant varieties of Segre-Veronese varieties.

研究の動機と目的

• 小さな標本サイズの離散データに対するベイズ推論における周辺尤度積分を正確に計算するための手法を開発すること。
• 周辺尤度の正確な評価が、自明な場合を除き不可能であるという長年の仮定に反応すること。
• 特にセグレ＝ヴェロネーゼ多様体の接線束に注目し、計算代数幾何学を統計モデルに応用すること。
• 中程度の次元と標本サイズのモデルにおいて、ベイズ因子や事後モーメントの正確な計算を可能にすること。
• 浮動小数点近似ではなく、有理数値の積分を正確に計算する記号的フレームワークを提供すること。

提案手法

• モデルの混合分布をセグレ＝ヴェロネーゼ多様体の接線束として表現し、ニュートンポリトープを介して代数的に記述する。
• 被積分関数を13次元の確率単体上での多変数多項式として表現し、ゾノトープ内の格子点に対応する単項式を用いる。
• ディリクレ積分を用いた記号的積分：各単体成分について ∫∏π^a₁τ^a₂λ^uρ^v dπdτdλdρ = (a₁!a₂!)/(a₁+a₂+1)! × ∏(3!∏uᵢ!)/(∑uᵢ+3)! が成り立つ。
• 被積分関数のニュートン・ゾノトープ内のすべての格子点にわたる和をとることで周辺尤度を計算し、幾何的組合せ論を用いる。
• Mapleを用いて格子点を列挙し、正確に有理数値の積分を評価するアルゴリズムを実装する。
• ディリクレ事前分布をフレームワークに組み込み、ベイズ因子を正確な周辺尤度の有理数比として計算する。

実験結果

リサーチクエスチョン

• RQ1 小さな標本サイズにおいて、独立性モデルの混合に対する周辺尤度積分を数値的ではなく正確に計算できるか？
• RQ2 これらの積分の計算を裏付ける代数的・幾何的構造は何か、そしてそれらをアルゴリズム的にどのように活用できるか？
• RQ3 ベイズ的モデル比較において、モンテカルロ法（MCMC やギブスサンプリングなど）に代わって記号的積分をどの程度代替できるか？
• RQ4 正確な有理数値の周辺尤度は、BIC やラプラス近似のような数値近似と比較してどの程度正確か？
• RQ5 中程度の次元と標本サイズのモデルにおいて、事後モーメントおよびベイズ因子の正確な計算が可能か？

主な発見

• 4×4分割表（2）の周辺尤度は、大きなが有限の分子と分母をもつ有理数として正確に計算され、正確な積分の実行可能性が裏付けられた。
• 4×4の例では、正確な値が 571·773426813·17682039596993·625015426432626533 / (2³¹·3²⁰·5¹²·7¹¹·11⁸·13⁷·17⁵·19⁵·23⁵·29³·31³·37³·41³·43²) として得られ、正確な有理数出力が実現された。
• 被積分関数展開における単項式の数は3,892,097であり、直感的な上限値332,150,625よりも著しく少ないため、列挙が実行可能となった。
• 3×3病院滞在時間データ例（U）では、分子・分母の大きさが中程度の有理数として周辺尤度が計算され、多項式係数をスケーリングすることで最終的な周辺尤度が得られた。
• 3×3データセットの正確な周辺尤度は、127桁の分子と256桁の分母を持つ有理数であり、中程度のNに対しても正確な結果が得られることを示している。
• 数値近似より優れた性能を示した：正確な対数周辺尤度（-22.1085）は、BIC（-22.431）やラプラス近似（-22.397）よりも正確であり、記号的アプローチの有効性が検証された。