[论文解读] Entropy inference and the James-Stein estimator, with application to nonlinear gene association networks

Jean Hausser, Korbinian Strimmer|Research Explorer (The University of Manchester)|Nov 21, 2008

Gene Regulatory Network Analysis参考文献 45被引用 375

一句话总结

本文提出了一种詹姆斯-Stein型收缩估计器，用于微熵和互信息的估计，在高维设置下，特别是在基因组学中常见的“小n，大p”场景中，显著提升了小样本估计的性能。该方法在多种数据模型下均优于八种现有估计器，提供了一种计算高效、解析推导的解决方案，可实现从有限基因表达数据中准确估计微熵和构建基因调控网络。

ABSTRACT

We present a procedure for effective estimation of entropy and mutual information from small-sample data, and apply it to the problem of inferring high-dimensional gene association networks. Specifically, we develop a James-Stein-type shrinkage estimator, resulting in a procedure that is highly efficient statistically as well as computationally. Despite its simplicity, we show that it outperforms eight other entropy estimation procedures across a diverse range of sampling scenarios and data-generating models, even in cases of severe undersampling. We illustrate the approach by analyzing E. coli gene expression data and computing an entropy-based gene-association network from gene expression data. A computer program is available that implements the proposed shrinkage estimator.

研究动机与目标

• 为解决在高维、欠采样数据中最大似然微熵估计器性能差的问题，特别是在基因组学中常见的“小n，大p”设置下。
• 开发一种计算高效且统计稳健的微熵估计器，以在小样本条件下超越现有方法。
• 利用基于微熵的度量，从有限的基因表达数据中实现可靠非线性基因关联网络推断。
• 提供一种完全解析的、基于收缩的替代方案，以替代复杂或计算密集的微熵估计过程。

提出的方法

• 提出一种詹姆斯-Stein型收缩估计器，通过结合高维最大似然估计与低维目标估计，以降低方差。
• 利用基于经验方差、协方差和偏差的数据驱动收缩强度 λ^⋆，通过闭式表达式（公式10）计算得出。
• 将收缩框架应用于多项式单元频数估计，然后将收缩后的频数代入香农微熵公式（公式1）。
• 采用基于均匀先验（拉普拉斯平滑）的目标估计，以在高维设置中对稀疏单元频数进行正则化。
• 通过使用联合分布和边缘分布的微熵估计，将收缩原理适配至互信息估计。
• 在R包 'entropy' 中实现了该方法，该包可在CRAN上获取，便于在真实基因组数据中进行实际应用。

实验结果

研究问题

• RQ1 詹姆斯-Stein收缩方法是否能在高维、小样本设置下显著提升微熵估计的准确性？
• RQ2 在多种采样场景和数据生成模型下，所提出的收缩估计器与八种现有微熵估计器相比表现如何？
• RQ3 该收缩方法在多大程度上提升了从有限基因表达数据中推断基因关联网络的可靠性？
• RQ4 该收缩估计器是否能够以闭式表达高效计算，而无需依赖模拟或复杂优化？

主要发现

• 所提出的詹姆斯-Stein收缩估计器在广泛的采样场景和数据生成模型下，始终优于八种基准微熵估计器，包括NSB和Chao-Shen。
• 即使在严重欠采样条件下，该方法仍表现出优越性能，而传统最大似然估计器会严重低估真实微熵。
• 该估计器同时提供微熵和单元频数估计，可直接代入香农微熵公式，显著提升估计准确性。
• 该方法计算高效且完全解析，避免了其他估计器中常见的迭代或基于模拟的程序。
• 在大肠杆菌基因表达数据的应用中，该方法成功推断出一个稳健的、基于微熵的基因关联网络，展示了其实际应用价值。
• R包 'entropy' 实现了该估计器，并已公开发布，促进了可重复研究和广泛应用。