[論文レビュー] Evaluating Network Inference Methods in Preserving the Topology and Complexity of Reconstructed Genetic Networks

Narsis A. Kiani, Héctor Zenil+2 more|arXiv (Cornell University)|Dec 3, 2015

Bioinformatics and Genomic Networks参考文献 28被引用数 2

ひとこと要約

本稿では、遺伝的ネットワークのトポロジーおよび情報理論的性質を保持する能力を評価することで、ネットワーク推定手法を検証し、遺伝子セット豊度解析とアルゴリズム的複雑性にインspiredされた新規評価手法を導入する。結果として、いかなる手法も普遍的に優れているとは限らず、手法の選択はネットワークの背後にあるトポロジーに合わせて調整される必要があることが示された。

ABSTRACT

Network inference is a rapidly advancing field, with new methods being proposed on a regular basis. Understanding the advantages and limitations of different network inference methods is key to their effective application in different circumstances. The common structural properties shared by diverse networks naturally pose a challenge when it comes to devising accurate inference methods, but surprisingly, there is a paucity of comparison and evaluation methods. Historically, every new methodology has only been tested against extit{gold standard} (true values) purpose-designed synthetic and real-world (validated) biological networks. In this paper we aim to assess the impact of taking into consideration aspects of topological and information content in the evaluation of the final accuracy of an inference procedure. Specifically, we will compare the best inference methods, in both graph-theoretic and information-theoretic terms, for preserving topological properties and the original information content of synthetic and biological networks. New methods for performance comparison are introduced by borrowing ideas from gene set enrichment analysis and by applying concepts from algorithmic complexity. Experimental results show that no individual algorithm outperforms all others in all cases, and that the challenging and non-trivial nature of network inference is evident in the struggle of some of the algorithms to turn in a performance that is superior to random guesswork. Therefore special care should be taken to suit the method to the purpose at hand. Finally, we show that evaluations from data generated using different underlying topologies have different signatures that can be used to better choose a network reconstruction method.

研究の動機と目的

• トポロジーおよび情報理論的性質を考慮する標準化されたネットワーク推定の評価手法が不足しているという問題に対処すること。
• 合成ネットワークおよび生物学的ネットワークの構造的・情報的特性をどの程度保持できるかを比較する、主要な推定アルゴリズムの性能を評価すること。
• 再構築されたネットワークのグラフ理論的および情報理論的忠実度を反映する新しい評価指標を開発すること。
• 異なる背後にあるネットワークトポロジーに関連する手法論的シグネチャを同定し、手法選択を支援すること。
• 一部の推定手法がランダムな推測と同等以下に機能することを示し、ネットワーク再構築の本質的な難易度を強調すること。

提案手法

• 再構築されたネットワークが次数分布やクラスタ係数などの主要なトポロジカル特徴をどの程度保持しているかを評価するために、遺伝子セット豊度解析（GSEA）の概念を応用した。
• 元のネットワークの情報コンテンツが推定ネットワークにどの程度維持されているかを評価するために、アルゴリズム的複雑性の指標を適用した。
• 既知のトポロジーを持つ合成ネットワークと、確認済みの相互作用を持つ実際の生物学的ネットワークの両方で推定手法を評価した。
• 推定ネットワークの構造的性質を真値との間で比較するために、トポロジカル類似度メトリクスを用いた。
• 特定の背後トポロジーを持つネットワークに最も適した推定手法を特定するためのシグネチャベースのアプローチを導入した。
• グラフ理論的および情報理論的スコアを統合して、手法の性能をランク付けするための複合評価フレームワークを構築した。

実験結果

リサーチクエスチョン

• RQ1 既存のネットワーク推定手法は、遺伝的ネットワークのトポロジカル構造をどの程度保持しているか？
• RQ2 アルゴリズム的複雑性で測定した場合、推定手法は元のネットワークの情報コンテンツをどの程度維持しているか？
• RQ3 再構築対象のネットワークの背後にあるトポロジーに基づいて、推定手法の性能を予測できるか？
• RQ4 ゴールドスタンダードネットワークと、さまざまなトポロジカルシグネチャを持つネットワークを用いた場合に、評価結果に系統的な差異が生じるか？
• RQ5 さまざまなネットワークタイプにわたり、常にランダムな推測を上回る性能を示す推定手法は存在するか？

主な発見

• いかなる推定手法も、すべてのネットワークトポロジーおよび評価基準において、常に他の手法を上回るとは限らない。
• 一部の推定アルゴリズムは、ランダムな推測と同等以下に機能することがあり、ネットワーク再構築の本質的な難易度を強調している。
• 評価結果は、ネットワークの背後にあるトポロジーに大きく依存しており、手法固有の強み・弱みが顕在化している。
• トポロジカルおよび情報理論的評価指標を統合することで、異なる推定手法に特徴的な性能シグネチャが明らかになった。
• 異なるトポロジカル構造を持つネットワークは、評価結果に明確なシグネチャを残し、ネットワークの種別に応じたより良い手法選択を可能にした。
• GSEAにインspiredされた豊度解析とアルゴリズム的複雑性を組み合わせた本稿の評価フレームワークは、従来の正確性指標のみに依存する評価よりも、より洗練された評価を提供する。