[论文解读] Information Theory and Statistics: an overview

Daniel Commenges|arXiv (Cornell University)|Nov 3, 2015

Financial Risk and Volatility Modeling参考文献 28被引用 13

一句话总结

本文全面概述了信息论在统计学中的作用，特别是在估计与模型选择方面的应用。它表明最大似然估计通过最小化交叉熵来实现，从而与Kullback-Leibler风险建立联系，并证明AIC等准则与交叉验证估计的交叉熵等价于贝叶斯模型比较中的伪贝叶斯因子。

ABSTRACT

We give an overview of the role of information theory in statistics, and particularly in biostatistics. We recall the basic quantities in information theory; entropy, cross-entropy, conditional entropy, mutual information and Kullback-Leibler risk. Then we examine the role of information theory in estimation theory, where the log-klikelihood can be identified as being an estimator of a cross-entropy. Then the basic quantities are extended to estimators, leading to criteria for estimator selection, such as Akaike criterion and its extensions. Finally we investigate the use of these concepts in Bayesian theory; the cross-entropy of the predictive distribution can be used for model selection; a cross-validation estimator of this cross-entropy is found to be equivalent to the pseudo-Bayes factor.

研究动机与目标

• 阐明信息-理论概念（如熵、交叉熵、Kullback-Leibler风险）在统计推断中的基础性作用。
• 证明最大似然估计源于通过最小化交叉熵来估计Kullback-Leibler风险。
• 通过交叉熵估计的视角，统一频率学派的模型选择准则（如AIC、TIC）。
• 将信息论的应用扩展至贝叶斯模型选择，特别是通过交叉验证的预测密度估计。
• 展示交叉验证交叉熵（CVCE）与贝叶斯模型比较中伪贝叶斯因子的等价性。

提出的方法

• 为连续概率密度定义微分熵、交叉熵及Kullback-Leibler风险。
• 将对数似然识别为交叉熵的经验估计量，从而将其与Kullback-Leibler风险最小化联系起来。
• 应用交叉验证交叉熵（CVCE）估计量：$ \text{CVCE}(f^{{\cal O}}) = -n^{-1} \sum_{i=1}^{n} \log f^{\bar{{\cal O}}_{-i}}(X_i) $，使用留一法预测密度。
• 推导CVCE与模型比较中伪贝叶斯因子（PSBF）对数的等价性。
• 利用马尔可夫链蒙特卡洛（MCMC）后验样本计算CVCE：$ \text{CVCE} = n^{-1} \sum_{i=1}^{n} \log \left( K^{-1} \sum_{k=1}^{K} \frac{1}{f^{\theta_k}(X_i)} \right) $。
• 证明CVCE渐近等价于AIC，并提供信息准则的贝叶斯替代方法。

实验结果

研究问题

• RQ1 信息论如何支撑频率学派估计与模型选择准则（如AIC）的基础？
• RQ2 在基于似然的推断背景下，交叉熵与Kullback-Leibler风险具有何种统计解释？
• RQ3 交叉验证交叉熵（CVCE）在贝叶斯统计中如何作为模型选择准则使用？
• RQ4 CVCE与贝叶斯模型比较中的伪贝叶斯因子之间存在何种关系？
• RQ5 CVCE能否通过MCMC后验抽样高效计算？其与其它信息准则相比表现如何？

主要发现

• 对数似然函数等价于交叉熵的经验估计量，从而将最大似然估计与Kullback-Leibler风险最小化联系起来。
• 赤池信息量准则（AIC）及其扩展（如TIC）均源于通过交叉熵估计Kullback-Leibler风险。
• 交叉验证交叉熵（CVCE）被证明等价于比较两个贝叶斯模型时伪贝叶斯因子（PSBF）的对数。
• CVCE可通过近似参数后验分布的期望，利用MCMC高效计算。
• CVCE估计量渐近等价于AIC，表明频率学派与贝叶斯学派的信息-理论方法具有一致性。
• 在贝叶斯模型选择中使用CVCE，为边际似然计算提供了一种计算上可行且理论基础坚实的替代方案。