[论文解读] Information theory, multivariate dependence, and genetic network inference

Ilya Nemenman|ArXiv.org|Jun 7, 2004

Gene Regulatory Network Analysis参考文献 7被引用 33

一句话总结

本文提出了一种基于最大熵的框架，用于定义和推断遗传网络中的多元统计依赖关系，即使在数据欠采样的情况下也能可靠检测相互作用。通过直接估计信息论量（如交互多信息量），而无需完整估计联合概率分布，该方法在样本量远小于可能状态数的情况下仍能成功恢复真实依赖关系，证明了在数据有限条件下进行基因组网络推断的可行性。

ABSTRACT

We define the concept of dependence among multiple variables using maximum entropy techniques and introduce a graphical notation to denote the dependencies. Direct inference of information theoretic quantities from data uncovers dependencies even in undersampled regimes when the joint probability distribution cannot be reliably estimated. The method is tested on synthetic data. We anticipate it to be useful for inference of genetic circuits and other biological signaling networks.

研究动机与目标

• 正式定义一种适用于高维生物数据的多元统计依赖通用定义，以区分直接、间接或协同作用的相互关系。
• 克服传统贝叶斯网络和条件独立性方法在捕捉调控环路和高阶相互作用方面的局限性。
• 开发一种直接从数据推断统计依赖关系的方法，无需完整估计联合概率分布，尤其适用于欠采样情形。
• 测试在样本量远小于可能状态组合数的情况下，检测真实相互作用的可行性。
• 为从高通量表达数据中可靠推断遗传和信号传导网络提供基础，即使数据稀疏亦可。

提出的方法

• 使用由低阶边缘分布约束的最大熵（MaxEnt）分布来近似联合概率分布，从而隔离未被低阶统计量捕获的依赖关系。
• 将交互多信息量定义为全联合分布的熵与在特定边缘约束下其MaxEnt近似熵之间的差值。
• 应用直接熵估计技术——特别是狄利克雷先验和NSB方法——以在样本数远小于可能状态数时仍能可靠估计熵。
• 采用交互多信息量Δ作为多元依赖的度量，其统计显著性通过证据E^(·) = Δ^(·)/δΔ^(·)评估，其中δΔ^(·)为Δ^(·)的误差。
• 使用M=3个变量、边缘基数约为50的合成数据，在样本数N从50到125,000的范围内测试推断性能。
• 引入图形化表示方法以描述依赖关系，并将相互作用定位到特定变量组合，从而实现对直接与间接依赖关系的区分。

实验结果

研究问题

• RQ1 能否以一种形式化方式定义多元统计依赖，使其能够区分遗传网络中直接、协同和间接的相互作用？
• RQ2 是否可能从未知联合分布无法可靠估计的高维、欠采样数据中推断出有意义的统计依赖关系？
• RQ3 基于熵估计的直接相互作用推断方法与需要完整联合分布估计的传统方法相比，性能如何？
• RQ4 当样本数远小于可能状态组合数时，交互多信息量在多大程度上能检测到真实依赖关系？
• RQ5 该方法能否可靠地区分直接相互作用与由隐变量或间接效应引起的虚假高阶依赖关系？

主要发现

• 即使样本数N远小于可能状态组合数K，该方法在合成数据中仍能成功恢复真实的多元依赖关系，且当N ≲ K时可实现可靠推断。
• 当样本数低至√K时，仍能实现相互作用的正确恢复，且依赖关系的证据E^(·)在联合分布变得可估计之前即已显著。
• 由于使用狄利克雷先验和NSB等方法对熵进行稳健的直接估计，交互多信息量Δ即使在严重欠采样情形下也可推断，其性能优于标准的直方图方法。
• 该方法能正确识别由于间接路径（如X1–X2–X3）导致的变量间互信息非零的情况，并避免在无直接连接时错误地将依赖归因于直接相互作用。
• 对于N ≲ 100样本的基因组应用，该方法表明仅低阶相互作用（在三元离散化下m* ≈ 4）可被可靠检测，使用先进的熵估计器可将检测范围扩展至m* ≈ 8。
• 基于MaxEnt近似和交互多信息量的理论框架，提供了一种一致且可解释的方式，将统计依赖分解为特定变量集合的贡献，而无需对底层分布假设参数形式。