[论文解读] Describing the complexity of systems: multi-variable "set complexity" and the information basis of systems biology

David J. Galas, Nikita A. Sakhanenko+2 more|arXiv (Cornell University)|Feb 27, 2013

Gene Regulatory Network Analysis参考文献 16被引用 6

一句话总结

本文提出了'微分交互信息'（DII），一种新颖的信息论度量方法，将成对的'集合复杂度'推广至多变量依赖关系，用于量化复杂系统中的多变量依赖。通过将交互信息扩展至高阶交互，并将其嵌入超图结构中，该方法能够无偏地检测集体依赖关系，为分析系统生物学数据及其他具有上下文依赖复杂性的复杂系统提供了一个稳健的框架。

ABSTRACT

Context dependence is central to the description of complexity. Keying on the pairwise definition of "set complexity" we use an information theory approach to formulate general measures of systems complexity. We examine the properties of multi-variable dependency starting with the concept of interaction information. We then present a new measure for unbiased detection of multi-variable dependency, "differential interaction information." This quantity for two variables reduces to the pairwise "set complexity" previously proposed as a context-dependent measure of information in biological systems. We generalize it here to an arbitrary number of variables. Critical limiting properties of the "differential interaction information" are key to the generalization. This measure extends previous ideas about biological information and provides a more sophisticated basis for study of complexity. The properties of "differential interaction information" also suggest new approaches to data analysis. Given a data set of system measurements differential interaction information can provide a measure of collective dependence, which can be represented in hypergraphs describing complex system interaction patterns. We investigate this kind of analysis using simulated data sets. The conjoining of a generalized set complexity measure, multi-variable dependency analysis, and hypergraphs is our central result. While our focus is on complex biological systems, our results are applicable to any complex system.

研究动机与目标

• 开发一种广义的复杂度度量方法，以捕捉多变量系统中上下文依赖的依赖关系。
• 通过引入一种无偏的、高阶依赖检测方法，解决现有交互信息度量方法的局限性。
• 为理解系统生物学及其他复杂系统中的复杂性，提供正式的信息论基础。
• 通过交互模式的超图表示，实现基于数据的集体依赖关系分析。
• 将'集合复杂度'的概念从成对交互推广至任意数量的变量。

提出的方法

• 提出'微分交互信息'（DII），作为成对集合复杂度向n变量系统的推广，其推导基于信息论原理。
• 以交互信息为基础，重新定义其形式，以确保对高阶依赖关系的无偏检测。
• 应用DII的关键极限性质，以确保在多变量依赖检测中的一致性与稳定性。
• 使用超图表示集体依赖关系，其中节点代表变量，超边编码多变量交互。
• 利用模拟数据集验证该方法检测和可视化复杂交互模式的能力。
• 将广义集合复杂度与多变量依赖分析及超图建模相结合，构建统一的分析框架。

实验结果

研究问题

• RQ1 如何以一种既具有上下文敏感性又无偏的方式测量复杂系统中的多变量依赖关系？
• RQ2 将成对'集合复杂度'推广至高阶交互的信息论基础是什么？
• RQ3 微分交互信息（DII）在检测集体依赖关系方面相较于传统交互信息有何改进？
• RQ4 DII能否用于构建复杂系统交互关系的有意义的超图表示？
• RQ5 DII的哪些极限性质可确保其在多变量系统分析中的可靠性？

主要发现

• 微分交互信息（DII）提供了一种一致且无偏的多变量依赖度量方法，可将成对集合复杂度推广至任意数量的变量。
• DII的极限性质确保了在高维系统中检测高阶交互关系时的稳定性与鲁棒性。
• DII能够构建有效的超图，以表示系统中多个变量之间的复杂交互模式。
• 模拟数据的分析表明，DII能够成功识别出仅靠成对度量无法检测到的集体依赖关系。
• 该方法为研究系统生物学及其他复杂系统中的复杂性提供了正式的信息论基础。
• 广义集合复杂度、多变量依赖检测与超图建模的整合，形成了一套全面的复杂系统分析框架。