[論文レビュー] Mutual Information as a Bayesian Measure of Independence

David R. Wolf|ArXiv.org|Nov 6, 1995

Financial Risk and Volatility Modeling参考文献 5被引用数 12

ひとこと要約

本稿は、統計的仮説検定における独立性の基礎的ベイズ的尺度として相互情報量を確立する。確率変数間の独立性に関する正確なベイズ的事後確率を導出し、相互情報量がベイズ的検定統計量を漸近的に支配することを示し、古典的検定統計量をベイズ的証拠の観点から原理的解釈する。

ABSTRACT

The problem of hypothesis testing is examined from both the historical and Bayesian points of view in the case that sampling is from an underlying joint probability distribution and the hypotheses tested for are those of independence and dependence of the underlying distribution. Exact results for the Bayesian method are provided. Asymptotic Bayesian results and historical method test quantities are compared, and historical method quantities are interpreted in terms of clearly defined Bayesian quantities. The asymptotic Bayesian test relies upon a statistic that is primarily mutual information.

研究の動機と目的

• 独立性検定の文脈において、頻度主義的仮説検定とベイズ的推論を統合すること。
• 2変量分布における独立性に関する正確なベイズ的事後確率を導出すること。
• 古典的検定統計量（例：カイ二乗検定）を、相互情報量に基づくベイズ的証拠の近似として解釈すること。
• 相互情報量をベイズ的独立性検定における中心的漸近的統計量として確立すること。
• 理論的根拠に基づいた情報理論的代替手法を、ベイズ的原則に従って提供すること。

提案手法

• 独立性と依存性のモデル間の事後オッズの比較として仮説検定問題を定式化する。
• 結合確率分布上の非情報的事前分布を用いて、正確なベイズ的事後確率を計算する。
• ベイズ的対数オッズ比の漸近的形を導出し、それが相互情報量の関数に収束することを示す。
• 漸近的ベイズ的検定統計量を古典的カイ二乗統計量および尤度比統計量と比較する。
• 相互情報量がベイズ的証拠の漸近的展開における支配的項として現れることを示す。
• 歴史的検定統計量（例：ピアソンのカイ二乗）を、相互情報量に基づくベイズ的情報基準の近似として解釈する。

実験結果

リサーチクエスチョン

• RQ1 相互情報量を依存性のベイズ的尺度として形式的に正当化する方法は何か？
• RQ2 独立性検定におけるベイズ的事後オッズと相互情報量の正確な関係は何か？
• RQ3 大標本の極限において、古典的検定統計量（例：カイ二乗）はベイズ的証拠とどのように関係するか？
• RQ4 代替仮説下で、相互情報量がベイズ的検定統計量を漸近的に支配することは示せるか？
• RQ5 ベイズ枠組みにおいて、相互情報量を統計的依存性の尺度として使用する理論的根拠は何か？

主な発見

• 非情報的事前分布の下で、結合分布上の正確なベイズ的事後確率が導出された。
• 漸近的ベイズ的検定統計量は、相互情報量に比例する関数に収束し、その中心的役割が確立された。
• ピアソンのカイ二乗などの古典的検定統計量が、大標本の極限においてベイズ的証拠を近似することが示された。
• 相互情報量が、ベイズ的対数オッズ比の漸近的展開における主要な量として形式的に同定された。
• 本稿は、古典的独立性検定にベイズ的解釈を提供し、それらが暗黙的に情報理論的依存性を測定していることを示した。
• 結果は、相互情報量が頻度主義的推定器にとどまらず、独立性のためのベイズ的推論の核心的構成要素であることを示した。