[論文レビュー] Information Theory and Statistics: an overview

Daniel Commenges|arXiv (Cornell University)|Nov 3, 2015

Financial Risk and Volatility Modeling参考文献 28被引用数 13

ひとこと要約

本稿は、推定およびモデル選択における情報理論の役割について包括的な概説を提供する。最尤推定が交差エントロピーを最小化することを確立し、これによりKullback-Leiblerリスクと関連づけられ、AIC や交差検証推定量といった基準が交差エントロピーの推定値として、ベイズ的モデル比較における擬似ベイズ因子と同等であることを示している。

ABSTRACT

We give an overview of the role of information theory in statistics, and particularly in biostatistics. We recall the basic quantities in information theory; entropy, cross-entropy, conditional entropy, mutual information and Kullback-Leibler risk. Then we examine the role of information theory in estimation theory, where the log-klikelihood can be identified as being an estimator of a cross-entropy. Then the basic quantities are extended to estimators, leading to criteria for estimator selection, such as Akaike criterion and its extensions. Finally we investigate the use of these concepts in Bayesian theory; the cross-entropy of the predictive distribution can be used for model selection; a cross-validation estimator of this cross-entropy is found to be equivalent to the pseudo-Bayes factor.

研究の動機と目的

• 情報理論的概念—エントロピー、交差エントロピー、Kullback-Leiblerリスク—が統計的推論において果たす基盤的役割を明確化すること。
• 最尤推定が、Kullback-Leiblerリスクの推定として交差エントロピーを最小化することによって生じることを示すこと。
• 交差エントロピー推定の観点から、頻度的モデル選択基準（例：AIC、TIC）を統一すること。
• 情報理論の応用をベイズ的モデル選択、特に交差検証による予測密度推定の観点から拡張すること。
• 交差検証済み交差エントロピー（CVCE）とベイズ的モデル比較における擬似ベイズ因子との等価性を示すこと。

提案手法

• 連続確率密度関数に対する微分エントロピー、交差エントロピー、およびKullback-Leiblerリスクの定義。
• 対数尤度を交差エントロピーの経験的推定量として特定し、Kullback-Leiblerリスク最小化と結びつける。
• 交差検証済み交差エントロピー（CVCE）推定量を適用：$ \text{CVCE}(f^{{\cal O}}) = -n^{-1} \sum_{i=1}^{n} \log f^{\bar{{\cal O}}_{-i}}(X_i) $、ただし、1つずつ除外した予測密度を用いる。
• CVCEとモデル比較における対数の擬似ベイズ因子（PSBF）との等価性を導出する。
• MCMCによる事後分布の期待値を近似することで、CVCEをモンテカルロ積分で計算する：$ \text{CVCE} = n^{-1} \sum_{i=1}^{n} \log \left( K^{-1} \sum_{k=1}^{K} \frac{1}{f^{\theta_k}(X_i)} \right) $。
• CVCEがAICと漸近的に同等であり、情報基準のベイズ的代替手段であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 情報理論は、AIC などの頻度的推定およびモデル選択基準の背後にある根拠としてどのように機能するか？
• RQ2 尤度に基づく推論の文脈において、交差エントロピーおよびKullback-Leiblerリスクの統計的解釈は何か？
• RQ3 交差検証済み交差エントロピー（CVCE）は、ベイズ統計におけるモデル選択基準としてどのように機能するか？
• RQ4 ベイズ的モデル比較において、CVCEと擬似ベイズ因子の関係は何か？
• RQ5 MCMCに基づく事後サンプリングを用いてCVCEを効率的に計算できるか？また、他の情報基準と比較してどうなるか？

主な発見

• 対数尤度関数は、交差エントロピーの経験的推定量と同等であり、最尤推定がKullback-Leiblerリスク最小化と結びつくことを示している。
• 赤池情報量基準（AIC）およびその拡張（例：TIC）は、交差エントロピーを介したKullback-Leiblerリスク推定に基づいて導出される。
• 交差検証済み交差エントロピー（CVCE）は、2つのベイズ的モデルを比較する際、対数の擬似ベイズ因子（PSBF）と同等であることが示された。
• パラメータの事後分布の期待値を近似することで、MCMCを用いてCVCEを効率的に計算できる。
• CVCE推定量はAICと漸近的に同等であり、頻度的およびベイズ的情報理論的アプローチの整合性を示している。
• CVCEをベイズ的モデル選択に用いることで、周辺尤度の計算の代替手段として計算的に実行可能かつ理論的根拠を持つ代替手段が得られる。