[论文解读] Fair Evaluation of Global Network Aligners

Joseph Crawford, Yihan Sun+1 more|arXiv (Cornell University)|Jul 17, 2014

Bioinformatics and Genomic Networks参考文献 33被引用 4

一句话总结

本研究通过解耦节点代价函数（NCF）与对齐策略（AS），对全局网络对齐器MI-GRAAL与GHOST进行了公平评估，结果表明MI-GRAAL的NCF始终优于GHOST的NCF，而AS的表现则依赖于数据。最佳的整体对齐效果来自将MI-GRAAL的NCF与GHOST的AS结合，研究发现拓扑信息对对齐质量至关重要，而序列信息权重（α）的影响可忽略不计。更大的邻域大小可提升对齐效果，但第二大的邻域大小通常在降低计算成本的同时取得更优结果。

ABSTRACT

Abstract Background Analogous to genomic sequence alignment, biological network alignment identifies conserved regions between networks of different species. Then, function can be transferred from well- to poorly-annotated species between aligned network regions. Network alignment typically encompasses two algorithmic components: node cost function (NCF), which measures similarities between nodes in different networks, and alignment strategy (AS), which uses these similarities to rapidly identify high-scoring alignments. Different methods use both different NCFs and different ASs. Thus, it is unclear whether the superiority of a method comes from its NCF, its AS, or both. We already showed on state-of-the-art methods, MI-GRAAL and IsoRankN, that combining NCF of one method and AS of another method can give a new superior method. Here, we evaluate MI-GRAAL against a newer approach, GHOST, by mixing-and-matching the methods’ NCFs and ASs to potentially further improve alignment quality. While doing so, we approach important questions that have not been asked systematically thus far. First, we ask how much of the NCF information should come from protein sequence data compared to network topology data. Existing methods determine this parameter more-less arbitrarily, which could affect alignment quality. Second, when topological information is used in NCF, we ask how large the size of the neighborhoods of the compared nodes should be. Existing methods assume that the larger the neighborhood size, the better. Results Our findings are as follows. MI-GRAAL’s NCF is superior to GHOST’s NCF, while the performance of the methods’ ASs is data-dependent. Thus, for data on which GHOST’s AS is superior to MI-GRAAL’s AS, the combination of MI-GRAAL’s NCF and GHOST’s AS represents a new superior method. Also, which amount of sequence information is used within NCF does not affect alignment quality, while the inclusion of topological information is crucial for producing good alignments. Finally, larger neighborhood sizes are preferred, but often, it is the second largest size that is superior. Using this size instead of the largest one would decrease computational complexity. Conclusion Taken together, our results represent general recommendations for a fair evaluation of network alignment methods and in particular of two-stage NCF-AS approaches.

研究动机与目标

• 对全局网络对齐方法中节点代价函数（NCF）与对齐策略（AS）的贡献进行公平评估，具体针对MI-GRAAL与GHOST。
• 确定NCF中序列信息与拓扑信息之间的最优平衡，解决现有方法中参数选择的任意性问题。
• 研究NCF中邻域大小对对齐质量与计算效率的影响。
• 为全局网络对齐方法的公平评估提供可推广的建议。

提出的方法

• 系统性地混合匹配MI-GRAAL与GHOST的NCF与AS，以隔离各组件的贡献。
• 使用七项指标评估对齐质量：NC（真实标签）、EC、ICS、S3（拓扑）、GO、EXP（生物学）。
• 在NCF中对序列信息权重（α）设置多个取值，以评估其对对齐性能的影响。
• 在NCF中测试四种不同的邻域大小（T1–T4），以确定对对齐质量与计算成本最优的大小。
• 使用具有已知真实标签的合成网络与真实的生物网络，评估不同数据类型下的性能表现。
• 对对齐质量度量指标进行统计相关性分析，以评估评估指标的一致性与可靠性。

实验结果

研究问题

• RQ1 网络对齐器的优越性在多大程度上源于其NCF、AS或两者兼有？
• RQ2 NCF中的节点相似性应有多少比例来自蛋白质序列数据，又有多少应来自网络拓扑数据？
• RQ3 在NCF中，实现高质量对齐且避免过度计算成本的最优邻域大小是什么？
• RQ4 不同对齐质量度量指标之间存在何种相关性，尤其是在合成网络与真实网络数据中？

主要发现

• 在所有测试数据集与评估指标下，MI-GRAAL的NCF显著优于GHOST的NCF。
• 对齐策略（AS）的表现具有数据依赖性，GHOST的AS在某些数据集中优于MI-GRAAL的AS。
• NCF中序列信息权重（α）对对齐质量无显著影响，表明序列数据在NCF设计中并非关键因素。
• 在NCF中引入拓扑信息对生成高质量对齐至关重要，若缺失则导致性能显著下降。
• 较大的邻域大小通常能提升对齐质量，但第二大的邻域大小（T3）通常优于最大的邻域大小（T4），在降低计算成本的同时取得更优结果。
• 在真实网络数据中，拓扑与生物学对齐质量度量指标之间的相关性较弱（r ≤ 0.2），表明在现实场景中，拓扑对齐质量与功能对齐质量之间存在根本性脱节。