[论文解读] Estimating Information-Theoretic Quantities with Random Forests.

Richard Guo, Cencheng Shen+1 more|arXiv (Cornell University)|Jun 30, 2019

Neural Networks and Applications被引用 2

一句话总结

本文提出条件森林（Conditional Forests, CF），一种基于随机森林的方法，通过结合分位数回归森林、诚实采样和有限样本校正，改进了对诸如互信息和条件熵等信息论量的非参数估计。CF 在低维和高维设置下均能降低偏差和方差，尤其适用于混合连续-离散数据，并在从细胞特征估计神经元类别信息方面表现出色。

ABSTRACT

Information-theoretic quantities, such as mutual information and conditional entropy, are useful statistics for measuring the dependence between two random variables. However, estimating these quantities in a non-parametric fashion is difficult, especially when the variables are high-dimensional, a mixture of continuous and discrete values, or both. In this paper, we propose a decision forest method, Conditional Forests (CF), to estimate these quantities. By combining quantile regression forests with honest sampling, and introducing a finite sample correction, CF improves finite sample bias in a range of settings. We demonstrate through simulations that CF achieves smaller bias and variance in both low- and high-dimensional settings for estimating posteriors, conditional entropy, and mutual information. We then use CF to estimate the amount of information between neuron class and other ceulluar feautres.

研究动机与目标

• 解决在高维、混合类型（连续和离散）数据中估计信息论量的挑战，其中传统非参数方法因高偏差和高方差而表现不佳。
• 提升在复杂数据设置下互信息、条件熵和后验概率的有限样本估计精度。
• 开发一种稳健且灵活的框架，结合分位数回归森林、诚实采样和有限样本校正，以提高统计可靠性。
• 在多种模拟场景下评估该方法的性能，并将其应用于真实生物数据，具体目标是量化神经元细胞类型之间的信息传递。
• 提供一种实用且可扩展的工具，用于在参数假设不可行的场景下估计变量之间的依赖关系。

提出的方法

• 条件森林（CF）整合分位数回归森林以建模条件分布，从而实现后验概率和条件熵的非参数估计。
• 该方法采用诚实采样，即在独立的数据子集上分别进行训练和分裂，以减少过拟合并提高泛化能力。
• 应用有限样本校正以调整小样本中的偏差，尤其在高维或稀疏数据环境中至关重要。
• CF 通过结合来自同一森林结构的条件熵和边缘熵估计，来估计互信息。
• 该算法通过基于不纯度减少的递归二元分裂自适应划分特征空间，优化目标为信息论量。
• 该方法通过在统一的森林框架内使用适用于连续和离散变量的适当分裂规则，支持混合类型特征。

实验结果

研究问题

• RQ1 与现有非参数方法相比，基于随机森林的方法是否能有效降低互信息估计中的有限样本偏差？
• RQ2 在低维和高维数据设置下，条件森林在估计条件熵方面与基线方法相比表现如何？
• RQ3 有限样本校正能在多大程度上提升小样本或稀疏数据集中的估计精度？
• RQ4 CF 在真实生物数据中对神经元类别与其他细胞特征之间信息传递的估计效果如何？
• RQ5 CF 是否能有效处理混合连续-离散数据类型，而无需数据转换或参数假设？

主要发现

• 与基线非参数方法相比，CF 在低维和高维模拟设置下均显著降低了互信息估计的偏差和方差。
• 有限样本校正有效缓解了小样本环境下的偏差，尤其显著提升了条件熵和后验概率估计的准确性。
• 在估计信息论量方面，CF 超过标准随机森林及其他非参数估计器，尤其在包含连续与离散变量混合的数据中表现更优。
• 在一项真实生物应用中，CF 有效量化了神经元类别与多种细胞特征之间的信息量，展示了其实际应用价值。
• 该方法在多种数据分布和特征类型下均保持稳健性能，包括高维和稀疏数据。
• CF 中的诚实采样有助于实现更可靠的方差估计，并提升模型的泛化性能。