[论文解读] Estimating mutual information and multi--information in large networks

Noam Slonim, Gurinder S. Atwal+2 more|ArXiv.org|Feb 3, 2005

Complex Network Analysis Techniques参考文献 2被引用 46

一句话总结

本文提出了一种可扩展的直接估计方法，用于在大规模网络中估计互信息与多信息，通过样本量外推和自适应分箱来校正有限样本偏差。该方法能够可靠估计基因表达、金融市场和消费者数据中的高阶依赖关系，揭示多信息捕捉了超出成对相关性的协同关系。

ABSTRACT

We address the practical problems of estimating the information relations that characterize large networks. Building on methods developed for analysis of the neural code, we show that reliable estimates of mutual information can be obtained with manageable computational effort. The same methods allow estimation of higher order, multi--information terms. These ideas are illustrated by analyses of gene expression, financial markets, and consumer preferences. In each case, information theoretic measures correlate with independent, intuitive measures of the underlying structures in the system.

研究动机与目标

• 解决在数据有限的情况下可靠估计大规模网络中互信息与多信息的实际挑战。
• 将此前用于神经编码的直接信息估计方法扩展至基因调控网络等高维系统。
• 开发自动、鲁棒的有限样本校正技术，同时保持在可逆变换下的信息论不变性。
• 证明多信息能够捕捉仅通过成对分析无法检测到的高阶依赖关系。
• 在基因组学、金融市场和消费者偏好等多样化领域验证该方法，显示其与直观结构特征的相关性。

提出的方法

• 使用直接信息估计方法，在遍历性假设下，用时间平均替代系综平均，以减少采样偏差。
• 应用样本量外推来估计无限样本下的互信息，通过公式 $ I_{\text{est}}(b,N) = I_\infty(b) + A(b)/N + \cdots $ 校正有限样本偏差。
• 采用自适应分箱（等频分箱）以保持坐标不变性，避免任意量化。
• 利用随机打乱数据确定临界分箱数 $ b^* $，以确定有限样本效应占主导前的可靠估计上限。
• 将该框架扩展至多信息（例如三重信息 $ I_3 $），并应用相同的外推与分箱原理。
• 通过将估计的信息值与非特定的随机对/三元组进行比较，验证结果的统计显著性。

实验结果

研究问题

• RQ1 能否使用一种实用、可扩展的方法，在数据有限的大规模网络中获得可靠的互信息估计？
• RQ2 如何在不假设独立性或特定分布形式的前提下，校正信息估计中的有限样本偏差？
• RQ3 高阶多信息项（如三重信息）在多大程度上揭示了成对互信息无法捕捉的协同依赖关系？
• RQ4 所提出的方法能否基于信息论特征识别出基因表达数据中具有生物学意义的功能模块？
• RQ5 在金融和消费者偏好网络中，信息论度量是否与直观的结构特征相关？

主要发现

• 结合样本量外推的直接估计方法，即使在高维系统中也能提供可靠的互信息估计，其中 $ b^* $ 作为可靠分箱的实用上限。
• 在酿酒酵母基因表达数据中，'tRNA氨酰化'模块的平均三重信息 $ \langle I_3 \rangle $ 最高，表明其基因间存在强烈的协同调控。
• 与细胞周期相关的'芽生长'模块的 $ \langle I_3 \rangle $ 最低，表明其集体调控作用较弱。
• 对于'tRNA氨酰化'模块，三重信息值显著高于随机三元组，且随着模块连通性的增加，三重信息与成对信息之间的差距也增大。
• 该方法成功基于信息论特征识别出基因表达数据中的不同功能模块，结果与已知生物注释高度一致。
• 多信息值表明，相当一部分高阶依赖关系无法仅通过成对关系解释，表明调控网络中存在协同作用。