[論文レビュー] Fair Evaluation of Global Network Aligners

Joseph Crawford, Yihan Sun+1 more|arXiv (Cornell University)|Jul 17, 2014

Bioinformatics and Genomic Networks参考文献 33被引用数 4

ひとこと要約

本研究では、MI-GRAALとGHOSTのグローバルネットワークアラインヤーを公平に評価するため、ノードコスト関数（NCF）とアラインヤー戦略（AS）を分離し、それぞれの貢献を明確にした。その結果、MI-GRAALのNCFはGHOSTのNCFを常に上回る性能を示したが、ASの性能はデータに依存する。最良の全体的なアラインヤーは、MI-GRAALのNCFとGHOSTのASを組み合わせたものであり、トポロジー情報がアラインヤー品質に不可欠であるのに対し、シーケンス情報の重み（α）はほとんど影響を及ぼさない。より大きな近隣サイズはアラインヤー品質を向上させるが、第二に大きなサイズ（T3）は計算コストを削減しながらも、最大サイズ（T4）よりも優れた結果をもたらすことがある。

ABSTRACT

Abstract Background Analogous to genomic sequence alignment, biological network alignment identifies conserved regions between networks of different species. Then, function can be transferred from well- to poorly-annotated species between aligned network regions. Network alignment typically encompasses two algorithmic components: node cost function (NCF), which measures similarities between nodes in different networks, and alignment strategy (AS), which uses these similarities to rapidly identify high-scoring alignments. Different methods use both different NCFs and different ASs. Thus, it is unclear whether the superiority of a method comes from its NCF, its AS, or both. We already showed on state-of-the-art methods, MI-GRAAL and IsoRankN, that combining NCF of one method and AS of another method can give a new superior method. Here, we evaluate MI-GRAAL against a newer approach, GHOST, by mixing-and-matching the methods’ NCFs and ASs to potentially further improve alignment quality. While doing so, we approach important questions that have not been asked systematically thus far. First, we ask how much of the NCF information should come from protein sequence data compared to network topology data. Existing methods determine this parameter more-less arbitrarily, which could affect alignment quality. Second, when topological information is used in NCF, we ask how large the size of the neighborhoods of the compared nodes should be. Existing methods assume that the larger the neighborhood size, the better. Results Our findings are as follows. MI-GRAAL’s NCF is superior to GHOST’s NCF, while the performance of the methods’ ASs is data-dependent. Thus, for data on which GHOST’s AS is superior to MI-GRAAL’s AS, the combination of MI-GRAAL’s NCF and GHOST’s AS represents a new superior method. Also, which amount of sequence information is used within NCF does not affect alignment quality, while the inclusion of topological information is crucial for producing good alignments. Finally, larger neighborhood sizes are preferred, but often, it is the second largest size that is superior. Using this size instead of the largest one would decrease computational complexity. Conclusion Taken together, our results represent general recommendations for a fair evaluation of network alignment methods and in particular of two-stage NCF-AS approaches.

研究の動機と目的

• グローバルネットワークアラインヤー手法、特にMI-GRAALとGHOSTにおけるノードコスト関数（NCF）とアラインヤー戦略（AS）の寄与を公平に評価すること。
• 既存手法における任意のパラメータ選択を是正するため、NCFにおけるシーケンス情報とトポロジー情報の最適なバランスを特定すること。
• NCFにおける近隣サイズがアラインヤー品質および計算効率に与える影響を調査すること。
• グローバルネットワークアラインヤー手法の公平な評価に一般化可能な推奨事項を提示すること。

提案手法

• MI-GRAALとGHOSTのNCFとASを系統的に組み合わせ、各コンponentの寄与を分離する。
• 7つの指標（NC（真のラベル）、EC、ICS、S3、LCCS（トポロジー関連）、GO、EXP（生物学的））を用いてアラインヤー品質を評価した。
• NCFにおけるシーケンス情報の重み（α）を複数の値に変化させ、アラインヤー性能に与える影響を評価した。
• NCFにおける4つの異なる近隣サイズ（T1–T4）をテストし、アラインヤー品質と計算コストの最適サイズを特定した。
• 真のラベルが分かっている合成ネットワークと実際の生物学的ネットワークを用いて、異なるデータタイプにおける性能を評価した。
• アラインヤー品質指標間の統計的相関分析を実施し、評価指標の整合性と信頼性を評価した。

実験結果

リサーチクエスチョン

• RQ1 あるネットワークアラインヤーの優位性が、NCF、AS、または両者のどちらに起因するか。
• RQ2 NCFにおけるノード類似度の何パーセントがタンパク質配列データに起因するべきか。
• RQ3 アラインヤー品質を確保しつつ、過度な計算コストを回避するためのNCFにおける最適な近隣サイズは何か。
• RQ4 異なるアラインヤー品質指標どうしの相関関係は何か。特に、合成ネットワークと実際のネットワークデータにおいては。

主な発見

• MI-GRAALのNCFは、すべてのテストデータセットと評価指標において、GHOSTのNCFを顕著に上回る性能を示した。
• アラインヤー戦略（AS）の性能はデータに依存し、特定のデータセットではGHOSTのASがMI-GRAALのASを上回った。
• NCFにおけるシーケンス情報の重み（α）はアラインヤー品質に顕著な影響を及ぼさず、シーケンスデータがNCF設計において重要な要因でないことを示唆している。
• トポロジー情報をNCFに組み込むことは、高品質なアラインヤーを生成するために不可欠であり、その欠如は劣悪な性能をもたらす。
• より大きな近隣サイズは一般的にアラインヤー品質を向上させるが、第二に大きなサイズ（T3）は最大サイズ（T4）よりも優れた結果を示すことが多く、計算コストを削減できる。
• 実際のネットワークデータでは、トポロジー的および生物学的アラインヤー品質指標の間には弱い相関（r ≤ 0.2）が観察され、現実世界のシナリオではトポロジー的品質と機能的品質の間に根本的な乖離があることが示された。