[논문 리뷰] Evaluating Network Inference Methods in Preserving the Topology and Complexity of Reconstructed Genetic Networks

Narsis A. Kiani, Héctor Zenil외 2명|arXiv (Cornell University)|2015. 12. 03.

Bioinformatics and Genomic Networks참고 문헌 28인용 수 2

한 줄 요약

이 논문은 유전적 네트워크의 구조적 및 정보 이론적 성질을 유지하는 데에 있어 네트워크 추론 방법의 능력을 평가하며, 유전자 집합 부 enrichment 분석과 알고리즘 복잡도에 영감을 받은 새로운 평가 기법을 도입한다. 결과적으로 어떤 한 방법도 모든 네트워크 구조 유형과 평가 기준에서 항상 뛰어나지 않으며, 방법 선택은 네트워크의 기초적인 구조 유형에 맞게 맞춤화되어야 한다.

ABSTRACT

Network inference is a rapidly advancing field, with new methods being proposed on a regular basis. Understanding the advantages and limitations of different network inference methods is key to their effective application in different circumstances. The common structural properties shared by diverse networks naturally pose a challenge when it comes to devising accurate inference methods, but surprisingly, there is a paucity of comparison and evaluation methods. Historically, every new methodology has only been tested against extit{gold standard} (true values) purpose-designed synthetic and real-world (validated) biological networks. In this paper we aim to assess the impact of taking into consideration aspects of topological and information content in the evaluation of the final accuracy of an inference procedure. Specifically, we will compare the best inference methods, in both graph-theoretic and information-theoretic terms, for preserving topological properties and the original information content of synthetic and biological networks. New methods for performance comparison are introduced by borrowing ideas from gene set enrichment analysis and by applying concepts from algorithmic complexity. Experimental results show that no individual algorithm outperforms all others in all cases, and that the challenging and non-trivial nature of network inference is evident in the struggle of some of the algorithms to turn in a performance that is superior to random guesswork. Therefore special care should be taken to suit the method to the purpose at hand. Finally, we show that evaluations from data generated using different underlying topologies have different signatures that can be used to better choose a network reconstruction method.

연구 동기 및 목표

• 구조적 및 정보 이론적 성질을 고려하는 표준화된 네트워크 추론 평가 방법의 부족을 해결하기 위해.
• 합성 네트워크와 생물학적 네트워크의 구조적 및 정보적 특성을 유지하는 데에 있어 주요 추론 알고리즘의 성능을 비교하기 위해.
• 재구성된 네트워크의 그래프 이론적 및 정보 이론적 정확도를 반영하는 새로운 평가 지표를 개발하기 위해.
• 다양한 기초 네트워크 구조 유형과 관련된 방법론적 특징을 식별하여 방법 선택을 안내하기 위해.
• 일부 추론 방법이 랜덤 추측과 다를 바 없이 성능을 보이며, 네트워크 복원의 본질적 어려움을 드러내기 위해.

제안 방법

• 재구성된 네트워크가 degree 분포 및 클러스터링 계수와 같은 주요 구조적 특성을 얼마나 잘 유지하는지 평가하기 위해, 유전자 집합 부 enrichment 분석(GSEA) 개념을 응용한다.
• 원래 네트워크의 정보 내용이 추론된 네트워크에 얼마나 잘 유지되었는지 평가하기 위해 알고리즘 복잡도 측도를 적용한다.
• 기초 구조가 알려진 합성 네트워크와 검증된 상호작용을 가진 실제 생물학적 네트워크에 대해 추론 방법을 평가한다.
• 재구성된 네트워크의 구조적 성질을 기준 네트워크와 비교하기 위해 구조 유사도 측도를 사용한다.
• 특정 기초 네트워크 구조 유형에 가장 적합한 추론 방법을 식별하기 위해 서명 기반 접근법을 도입한다.
• 그래프 이론적 및 정보 이론적 점수를 융합하여 메트릭을 통합한 평가 프레임워크를 구축하여 방법 성능을 순위 매긴다.

실험 결과

연구 질문

• RQ1 기존의 네트워크 추론 방법들은 유전적 네트워크의 구조적 구조를 어느 정도 잘 유지하는가?
• RQ2 알고리즘 복잡도로 측정했을 때, 추론 방법들은 원래 네트워크의 정보 내용을 어느 정도 잘 유지하는가?
• RQ3 복원하고자 하는 네트워크의 기초적인 구조 유형에 따라 추론 방법의 성능을 예측할 수 있는가?
• RQ4 골드스탠더드 네트워크를 사용할 때와 다양한 구조적 서명을 가진 네트워크를 사용할 때 평가 결과에 체계적인 차이가 존재하는가?
• RQ5 다양한 네트워크 유형에 걸쳐 일관되게 랜덤 추측보다 뛰어난 성능을 보이는 추론 방법이 존재하는가?

주요 결과

• 어느 한 방법도 모든 네트워크 구조 유형과 평가 기준에서 다른 방법들보다 항상 뛰어나지 않는다.
• 일부 추론 알고리즘이 랜덤 추측과 다를 바 없이 성능을 보이며, 네트워크 복원의 본질적 어려움을 재확인한다.
• 평가 결과는 네트워크의 기초적인 구조 유형에 따라 크게 달라지며, 이는 특정 방법의 강점과 약점을 시사한다.
• 구조적 및 정보 이론적 평가 지표를 융합함으로써, 서로 다른 추론 방법에 대해 구분되는 성능 서명이 드러난다.
• 다른 구조적 특성을 가진 네트워크들은 평가 결과에 고유한 서명을 남기며, 이는 네트워크 유형에 따라 보다 나은 방법 선택을 가능하게 한다.
• GSEA 기반의 부 enrichment 분석과 알고리즘 복잡도를 융합한 제안된 평가 프레임워크는 기존의 정확도 측정 방식만으로는 제공할 수 없는 더 세밀한 평가를 가능하게 한다.