[論文レビュー] Distribution of Mutual Information

Marcus Hütter|ArXiv.org|Dec 15, 2001

Bayesian Modeling and Causal Inference参考文献 7被引用数 22

ひとこと要約

本稿では、ディリクレ事前分布を用いて、ベイズ推論下での相互情報量の分布に対する解析的近似を導出している。平均、分散、歪度、尖度の計算に用いられる。平均には正確な式が与えられ、高次モーメントには高精度の漸近展開が適用され、有限標本からの相互情報量推定値の信頼性のある不確実性評価が可能になる。

ABSTRACT

The mutual information of two random variables i and j with joint probabilities t_ij is commonly used in learning Bayesian nets as well as in many other fields. The chances t_ij are usually estimated by the empirical sampling frequency n_ij/n leading to a point estimate I(n_ij/n) for the mutual information. To answer questions like "is I(n_ij/n) consistent with zero?" or "what is the probability that the true mutual information is much larger than the point estimate?" one has to go beyond the point estimate. In the Bayesian framework one can answer these questions by utilizing a (second order) prior distribution p(t) comprising prior information about t. From the prior p(t) one can compute the posterior p(t|n), from which the distribution p(I|n) of the mutual information can be calculated. We derive reliable and quickly computable approximations for p(I|n). We concentrate on the mean, variance, skewness, and kurtosis, and non-informative priors. For the mean we also give an exact expression. Numerical issues and the range of validity are discussed.

研究の動機と目的

• 有限標本からの相互情報量の点推定における不確実性評価の欠如に対処すること。
• 点推定 $ I(\hat{\pi}) $ を超えて、相互情報量の完全な事後分布 $ p(I|\mathbf{n}) $ を計算するベイズフレームワークを提供すること。
• 非情報的ディリクレ事前分布下での $ p(I|\mathbf{n}) $ の平均、分散、歪度、尖度について、信頼性が高く迅速に計算可能な解析的表現を導出すること。
• 従来のヒューリスティック数値手法（特に [KJ96, Kle99]）における不正確さを是正すること。
• ベイジアンネットワークの構造学習に不可欠な確率的推論（例：$ p(I > I_*|\mathbf{n}) $ の計算）を可能にすること。

提案手法

• 連合確率 $ \pi_{ij} $ に対する2次の事前分布 $ p(\boldsymbol{\pi}) $ を用い、多項分布に従う度数 $ \mathbf{n} $ に対してディリクレ事後分布 $ p(\boldsymbol{\pi}|\mathbf{n}) \propto \prod_{ij} \pi_{ij}^{n_{ij}} $ を得る。
• 事後モーメントに基づき、ディガマ関数 $ \psi $ を用いて期待相互情報量 $ E[I] $ の正確な式を導出する。
• 1次までのデルタ法および高次モーメントの累積量展開を適用し、$ n^{-1} $ のべき級数として分散 $ \text{Var}[I] $ および高次中心モーメント（歪度、尖度）を近似する。
• $ n^{-3} $ 段階まで $ E[I^k] $ の展開を用い、$ n_{ij}/n $、対数尤度比、周辺項の和を含む高次モーメントを計算する。
• ピアソン型のアンザッツを用いて改善された分布近似を提案：$ p(I|\mathbf{n}) \propto (1 + \tilde{b}I + \tilde{c}I^2) \cdot p_0(I|\tilde{\mu}, \tilde{\sigma}^2) $。この近似は平均、分散、歪度、尖度に合わせてフィッティングされる。
• モンテカルロシミュレーションを用いた数値的妥当性評価を行い、相対誤差が $ (rs/n)^{1\ldots2} $ のオーダーであることを示し、平均は正確で、分散の精度が向上していることを確認した。

実験結果

リサーチクエスチョン

• RQ1 有限標本データから相互情報量の完全な事後分布 $ p(I|\mathbf{n}) $ を信頼性高く近似する方法は何か？
• RQ2 ディリクレ事前分布下での相互情報量分布の平均、分散、歪度、尖度について、正確かつ漸近的な表現は何か？
• RQ3 $ p(I|\mathbf{n}) $ の高次モーメントはガウス分布からどれほど逸脱しているか？ また、それらを用いて分布近似を改善できるか？
• RQ4 従来のヒューリスティック数値手法（例：[KJ96, Kle99] におけるもの）がなぜ誤りであったのか、そしてどのように是正できるか？
• RQ5 導出された解析的近似の有効範囲および小・中程度の標本サイズにおける数値的精度はどの程度か？

主な発見

• 期待相互情報量の正確な式は、$ E[I] = \sum_{ij} \left( \psi(n_{ij} + 1) - \psi(n_{ij} + 1) \right) $ であり、ディガマ関数を用いた事後期待値に基づく。
• 相互情報量の分散は $ \text{Var}[I] = \frac{1}{n} \left( K - J^2 \right) + O(n^{-2}) $ として近似され、ここで $ K $ と $ J $ は対数尤度比の和である。
• 歪度は $ n^{-1/2} $ のオーダーであり、尖度は $ O(n^{-1}) $ の補正を経て3（ガウス分布）に近づくが、小標本では非ガウス的であることが示唆される。
• 高次モーメントは $ O(n^{-3}) $ 段階まで導出され、$ E[(I - E[I])^3] $ および $ E[(I - E[I])^4] $ の式には $ J, K, L, M, Q, P $ が含まれ、より良い分布フィットが可能になる。
• 分散の近似誤差は、$ \imath $ と $ \jmath $ が従属する場合には $ (rs/n)^2 $ のオーダー、独立する場合には $ O(rs/n) $ のオーダーであり、モンテカルロによる検証でこの範囲での精度が確認された。
• 従来のヒューリスティック手法（[KJ96, Kle99]）は解析的に誤りであることが判明したため、$ n^{-1} $ の体系的展開を用いて是正された。