[论文解读] Estimating mutual information in high dimensions via classification error

Charles Zheng, Yuval Benjamini|arXiv (Cornell University)|Jun 16, 2016

Neural Networks and Applications参考文献 14被引用 3

一句话总结

该论文提出了一种基于k分类任务中平均贝叶斯错误率的新型高维互信息（MI）估计器，利用分层抽样和高维极限下的渐近理论。该方法通过克服与类别数k相关的互信息估计对数上限，超越了现有估计器的性能，即使在假设成立的中等维度下也能实现精确的MI估计。

ABSTRACT

Multivariate pattern analyses approaches in neuroimaging are fundamentally concerned with investigating the quantity and type of information processed by various regions of the human brain; typically, estimates of classification accuracy are used to quantify information. While a extensive and powerful library of methods can be applied to train and assess classifiers, it is not always clear how to use the resulting measures of classification performance to draw scientific conclusions: e.g. for the purpose of evaluating redundancy between brain regions. An additional confound for interpreting classification performance is the dependence of the error rate on the number and choice of distinct classes obtained for the classification task. In contrast, mutual information is a quantity defined independently of the experimental design, and has ideal properties for comparative analyses. Unfortunately, estimating the mutual information based on observations becomes statistically infeasible in high dimensions without some kind of assumption or prior. In this paper, we construct a novel classification-based estimator of mutual information based on high-dimensional asymptotics. We show that in a particular limiting regime, the mutual information is an invertible function of the expected $k$-class Bayes error. While the theory is based on a large-sample, high-dimensional limit, we demonstrate through simulations that our proposed estimator has superior performance to the alternatives in problems of moderate dimensionality.

研究动机与目标

• 解决在高维脑成像数据中，分类准确率作为互信息代理时的局限性。
• 开发一种理论基础坚实的、基于分类的互信息估计器，且对任意类别划分具有不变性。
• 克服现有估计器的根本限制：其上限受log(k)约束，其中k为类别数。
• 提供一种实用且可扩展的方法，用于比较脑区、模态或研究之间的信息含量。
• 确定在何种条件下，分类错误率可在高维设置下可靠地估计互信息。

提出的方法

• 该方法推导了在高维渐近和分层抽样下，互信息与期望k类贝叶斯错误率之间的理论关系。
• 假设类别标签是从无限多个潜在类别的连续分布中独立同分布抽取的，从而可控制分类错误率。
• 估计器采用泊松抽样近似来建模标签碰撞的概率，从而获得平均贝叶斯错误率的稳定估计。
• 通过反转贝叶斯错误率与互信息之间的渐近关系，生成MI的插补估计器。
• 该方法依赖于分类错误率的一致估计，假设分类器近似于贝叶斯规则。
• 设计上对任意类别划分具有鲁棒性，并可扩展至高维响应空间。

实验结果

研究问题

• RQ1 在高维设置下，k类任务中的分类错误率能否用于估计互信息？
• RQ2 在高维渐近和分层抽样下，贝叶斯错误率与互信息之间的关系如何表现？
• RQ3 该估计器能否克服现有基于分类的MI估计器中受log(k)上限限制的根本缺陷？
• RQ4 在中等维数问题中，该估计器相对于已建立的MI估计器表现如何？
• RQ5 在模型误设或有限样本偏差下，该估计器在何种条件下具有鲁棒性？

主要发现

• 所提出的估计器$\hat{I}_{HD}$在模拟中显著优于现有估计器$\hat{I}_{Fano}$和$\hat{I}_{CM}$，尤其在中等维度下表现更优。
• 该估计器克服了先前方法的根本缺陷：即使真实MI更高，其上限仍被限制在$\log(k)$。
• 在最坏情况示例中（类别划分下分类完美），估计器正确识别出有限互信息（$I(X;Y) = \log(k)$），无过度估计。
• 该方法在不同类别数下保持稳定性能，估计的MI无系统性增加或减少，表明对类别数量具有鲁棒性。
• 该方法在分层抽样和高维响应空间假设下最为有效，建议通过诊断检查来评估其在真实场景中的适用性。
• 通过泊松抽样模型对平均贝叶斯错误率进行近似，提供了理论依据，使MI估计成为可能。