[논문 리뷰] Fair Evaluation of Global Network Aligners

Joseph Crawford, Yihan Sun외 1명|arXiv (Cornell University)|2014. 07. 17.

Bioinformatics and Genomic Networks참고 문헌 33인용 수 4

한 줄 요약

이 연구는 전역 네트워크 정렬기 MI-GRAAL과 GHOST를 공정하게 평가하기 위해 노드 비용 함수(NCF)와 정렬 전략(AS)을 분리하여 분석하였으며, MI-GRAAL의 NCF가 항상 GHOST의 NCF를 능가하는 것으로 드러났고, AS 성능은 데이터에 따라 달라졌다. 최상의 전체 정렬 결과는 MI-GRAAL의 NCF와 GHOST의 AS를 조합했을 때 도출되었으며, 정점의 위상 정보는 정렬 품질에 매우 중요하며, 시퀀스 정보 가중치(α)는 영향을 거의 미치지 않았다. 더 큰 이웃 크기로 정렬 성능이 향상되지만, 두 번째로 큰 크기(T3)가 계산 비용을 줄이며 더 우수한 성능을 내는 경우가 많았다.

ABSTRACT

Abstract Background Analogous to genomic sequence alignment, biological network alignment identifies conserved regions between networks of different species. Then, function can be transferred from well- to poorly-annotated species between aligned network regions. Network alignment typically encompasses two algorithmic components: node cost function (NCF), which measures similarities between nodes in different networks, and alignment strategy (AS), which uses these similarities to rapidly identify high-scoring alignments. Different methods use both different NCFs and different ASs. Thus, it is unclear whether the superiority of a method comes from its NCF, its AS, or both. We already showed on state-of-the-art methods, MI-GRAAL and IsoRankN, that combining NCF of one method and AS of another method can give a new superior method. Here, we evaluate MI-GRAAL against a newer approach, GHOST, by mixing-and-matching the methods’ NCFs and ASs to potentially further improve alignment quality. While doing so, we approach important questions that have not been asked systematically thus far. First, we ask how much of the NCF information should come from protein sequence data compared to network topology data. Existing methods determine this parameter more-less arbitrarily, which could affect alignment quality. Second, when topological information is used in NCF, we ask how large the size of the neighborhoods of the compared nodes should be. Existing methods assume that the larger the neighborhood size, the better. Results Our findings are as follows. MI-GRAAL’s NCF is superior to GHOST’s NCF, while the performance of the methods’ ASs is data-dependent. Thus, for data on which GHOST’s AS is superior to MI-GRAAL’s AS, the combination of MI-GRAAL’s NCF and GHOST’s AS represents a new superior method. Also, which amount of sequence information is used within NCF does not affect alignment quality, while the inclusion of topological information is crucial for producing good alignments. Finally, larger neighborhood sizes are preferred, but often, it is the second largest size that is superior. Using this size instead of the largest one would decrease computational complexity. Conclusion Taken together, our results represent general recommendations for a fair evaluation of network alignment methods and in particular of two-stage NCF-AS approaches.

연구 동기 및 목표

• 전역 네트워크 정렬 방법인 MI-GRAAL과 GHOST에서 노드 비용 함수(NCF)와 정렬 전략(AS)의 기여도를 공정하게 평가하기.
• 기존 방법에서 임의의 매개변수 설정이 문제시되는 시퀀스 정보와 위상 정보의 최적의 균형을 도출하기.
• NCF 내 이웃 크기의 영향을 정렬 품질과 계산 효율성 측면에서 조사하기.
• 전역 네트워크 정렬 방법에 대한 공통 적용 가능한 평가 기준 제안하기.

제안 방법

• MI-GRAAL과 GHOST의 NCF와 AS를 체계적으로 혼합하여 구성 요소 기여도를 분리 분석.
• 정렬 품질 평가에 7개의 지표를 사용: NC(기본 참값), EC, ICS, S3(LCCS-위상), GO, EXP(생물학적).
• NCF 내 시퀀스 정보 가중치(α)를 여러 값으로 변화시켜 정렬 성능에 미치는 영향 평가.
• NCF 내 네 가지 다른 이웃 크기(T1–T4)를 테스트하여 정렬 품질과 계산 비용에 최적의 크기 도출.
• 기본 참값이 알려진 합성 네트워크와 실제 생물학적 네트워크를 모두 사용하여 다양한 데이터 유형에서의 성능 평가.
• 정렬 품질 측정 지표 간 상관관계 분석을 수행하여 평가 지표의 일관성과 신뢰성 평가.

실험 결과

연구 질문

• RQ1 네트워크 정렬기의 우월성이 NCF, AS, 또는 둘 다에서 비롯되는 정도는 어느 정도인가?
• RQ2 NCF 내 노드 유사도의 어느 정도가 단백질 시퀀스 데이터에서 유래해야 하는가?
• RQ3 정렬 품질을 높이고 과도한 계산 비용을 피하기 위해 NCF 내 최적의 이웃 크기는 무엇인가?
• RQ4 다양한 정렬 품질 측정 지표 간 상관관계는 어떻게 되며, 특히 합성 네트워크와 실제 네트워크 데이터에서 어떻게 다를까?

주요 결과

• 모든 테스트 데이터셋과 평가 지표에서 MI-GRAAL의 NCF가 GHOST의 NCF를 뚜렷이 뛰어넘는다.
• 정렬 전략(AS)의 성능은 데이터에 따라 달라지며, 일부 데이터셋에서는 GHOST의 AS가 MI-GRAAL의 AS를 능가한다.
• NCF 내 시퀀스 정보 가중치(α)는 정렬 품질에 유의미한 영향을 미치지 않아, 시퀀스 데이터가 NCF 설계에서 핵심 요소가 아님을 시사한다.
• 위상 정보를 NCF에 통합하는 것은 높은 품질의 정렬을 얻기 위해 필수적이며, 이를 생략할 경우 성능이 떨어진다.
• 더 큰 이웃 크기는 일반적으로 정렬 품질을 향상시키지만, 두 번째로 큰 크기(T3)가 가장 큰 크기(T4)보다 더 뛰어난 성능을 내며 계산 비용을 줄이는 경향이 있다.
• 실제 네트워크 데이터에서는 위상적 정렬 품질 측정 지표와 생물학적 정렬 품질 측정 지표 간 상관계수가 약하게 나타남(r ≤ 0.2)하여, 실제 환경에서 위상적 정렬과 기능적 정렬 품질 간의 근본적인 괴리가 있음을 시사한다.