[论文解读] Evaluating Network Inference Methods in Preserving the Topology and Complexity of Reconstructed Genetic Networks

Narsis A. Kiani, Héctor Zenil+2 more|arXiv (Cornell University)|Dec 3, 2015

Bioinformatics and Genomic Networks参考文献 28被引用 2

一句话总结

本文通过评估网络推断方法在保留基因网络拓扑特性和信息论特性方面的能力，引入了受基因集富集分析和算法复杂性启发的新评估技术。结果表明，没有单一方法在所有网络拓扑和评估标准下始终优于其他方法，方法选择必须根据网络的底层拓扑结构量身定制。

ABSTRACT

Network inference is a rapidly advancing field, with new methods being proposed on a regular basis. Understanding the advantages and limitations of different network inference methods is key to their effective application in different circumstances. The common structural properties shared by diverse networks naturally pose a challenge when it comes to devising accurate inference methods, but surprisingly, there is a paucity of comparison and evaluation methods. Historically, every new methodology has only been tested against extit{gold standard} (true values) purpose-designed synthetic and real-world (validated) biological networks. In this paper we aim to assess the impact of taking into consideration aspects of topological and information content in the evaluation of the final accuracy of an inference procedure. Specifically, we will compare the best inference methods, in both graph-theoretic and information-theoretic terms, for preserving topological properties and the original information content of synthetic and biological networks. New methods for performance comparison are introduced by borrowing ideas from gene set enrichment analysis and by applying concepts from algorithmic complexity. Experimental results show that no individual algorithm outperforms all others in all cases, and that the challenging and non-trivial nature of network inference is evident in the struggle of some of the algorithms to turn in a performance that is superior to random guesswork. Therefore special care should be taken to suit the method to the purpose at hand. Finally, we show that evaluations from data generated using different underlying topologies have different signatures that can be used to better choose a network reconstruction method.

研究动机与目标

• 为解决网络推断缺乏同时考虑拓扑特性和信息论特性的标准化评估方法的问题。
• 比较主流推断算法在保留合成网络和生物网络结构特征与信息特征方面的性能。
• 开发反映重构网络图论特性和信息论保真度的新评估指标。
• 识别与不同底层网络拓扑相关联的方法学特征，以指导方法选择。
• 证明某些推断方法的表现并不优于随机猜测，凸显网络重构的固有难度。

提出的方法

• 将基因集富集分析（GSEA）的概念进行适配，用于评估重构网络是否保留了度分布和聚类系数等关键拓扑特征。
• 应用算法复杂性度量，评估原始网络的信息内容在推断网络中保持得如何。
• 在具有已知拓扑结构的合成网络和具有验证互作关系的真实生物网络上评估推断方法。
• 使用拓扑相似性度量，将推断网络的结构特性与真实基准网络进行比较。
• 提出基于特征签名的方法，识别在特定底层拓扑结构网络中表现最佳的推断方法。
• 将图论指标与信息论指标结合，构建综合评估框架，用于对方法性能进行排序。

实验结果

研究问题

• RQ1 现有网络推断方法在在多大程度上保留了基因网络的拓扑结构？
• RQ2 推断方法在多大程度上保持了原始网络的信息内容，以算法复杂性为度量标准？
• RQ3 能否根据待重构网络的底层拓扑结构预测推断方法的性能？
• RQ4 在使用金标准网络与具有不同拓扑特征签名的网络进行评估时，结果是否存在系统性差异？
• RQ5 是否存在某些推断方法在多种网络类型中始终优于随机猜测？

主要发现

• 在所有网络拓扑和评估标准下，没有单一推断方法始终优于其他所有方法。
• 某些推断算法的表现并不优于随机猜测，凸显了网络重构的固有难度。
• 评估结果显著依赖于网络的底层拓扑结构，表明不同方法具有特定的优势与劣势。
• 将拓扑特性和信息论特性评估指标相结合，揭示了不同推断方法具有独特的性能特征。
• 具有不同拓扑结构的网络会在评估结果中留下独特的特征签名，从而可基于网络类型实现更优的方法选择。
• 所提出的评估框架，结合了受GSEA启发的富集分析与算法复杂性，相较于仅使用传统准确率指标，提供了更细致的评估结果。