[논문 리뷰] Alignment Metric Accuracy

Ariel Schwartz, Eugene W. Myers외 1명|arXiv (Cornell University)|2005. 10. 27.

Genomics and Phylogenetic Studies참고 문헌 12인용 수 25

한 줄 요약

이 논문은 순서 정렬 간의 대칭적이고 삼각부등식을 만족하는 거리 함수를 기반으로 한 새로운 정렬 정확도 측정 지표인 AMA(Alignment Metric Accuracy)를 소개한다. AMAP는 단일 갭 요소 매개변수를 조정하여 기대 AMA를 최대화하는 알고리즘으로, 이는 이차 및 다중 서열 정렬에서 감도와 특이도를 균형 있게 유지하며, SABmark를 포함한 벤치마크 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

We propose a metric for the space of multiple sequence alignments that can be used to compare two alignments to each other. In the case where one of the alignments is a reference alignment, the resulting accuracy measure improves upon previous approaches, and provides a balanced assessment of the fidelity of both matches and gaps. Furthermore, in the case where a reference alignment is not available, we provide empirical evidence that the distance from an alignment produced by one program to predicted alignments from other programs can be used as a control for multiple alignment experiments. In particular, we show that low accuracy alignments can be effectively identified and discarded. We also show that in the case of pairwise sequence alignment, it is possible to find an alignment that maximizes the expected value of our accuracy measure. Unlike previous approaches based on expected accuracy alignment that tend to maximize sensitivity at the expense of specificity, our method is able to identify unalignable sequence, thereby increasing overall accuracy. In addition, the algorithm allows for control of the sensitivity/specificity tradeoff via the adjustment of a single parameter. These results are confirmed with simulation studies that show that unalignable regions can be distinguished from homologous, conserved sequences. Finally, we propose an extension of the pairwise alignment method to multiple alignment. Our method, which we call AMAP, outperforms existing protein sequence multiple alignment programs on benchmark datasets. A webserver and software downloads are available at http://bio.math.berkeley.edu/amap/ .

연구 동기 및 목표

• 서열 정렬을 비교하기 위한 엄밀하고 대칭적인 지표가 부족한 문제를 해결하기 위해, 특히 감도를 초월한 정확도 평가를 위한 기준을 마련한다.
• 서열 정렬에서 감도와 특이도를 균형 있게 유지하는 방법을 개발하여, 갭에 대한 과도한 페널티 또는 관련성이 없는 영역의 과도한 정렬을 방지한다.
• 기준 정렬이 제공되지 않을 경우를 대비해 상호 프로그램 간 정렬 거리를 신뢰도의 대체 지표로 사용하여 신뢰할 수 있는 정확도 측정 방법을 제공한다.
• 이차 및 다중 서열 정렬에서 감도/특이도 트레이드오프를 단일 매개변수(갭 요소)로 조정할 수 있도록 한다.
• 기존 정렬 도구들이 특히 관련성이 없는 서열을 정렬할 때 감도를 과도하게 추구하면서 특이도를 희생시키는 경향이 있음을 입증한다.

제안 방법

• 비음수성, 대칭성, 삼각부등식을 만족하는 정렬 공간에 대한 거리 함수를 정의하여, 이를 적절한 거리 함수로 보장한다.
• 이 지표를 기반으로 매칭된 쌍과 갭 컬럼을 모두 고려한 새로운 정확도 측정 지표인 AMA(Alignment Metric Accuracy)를 제안한다.
• 서열 진화의 확률적 Pair-HMM 모델 하에 기대 AMA 값을 최대화하는 AMAP(Alignment Metric Accuracy Program) 알고리즘을 개발한다.
• 정렬 결정에서 감도와 특이도 간 트레이드오프를 제어하기 위해 갭 요소(Gf) 매개변수를 도입한다.
• 다양한 정렬 도구 간의 실증적 비교를 통해, 기준 정렬이 없더라도 이 지표가 저품질 정렬을 탐지할 수 있는 능력을 검증한다.
• SABmark와 같은 벤치마크 데이터셋에 이 지표를 적용하여 AMAP, ProbCons, Align-m 간의 정렬 정확도를 평가하고 비교한다.

실험 결과

연구 질문

• RQ1 서열 정렬에 대해 매칭과 갭을 모두 고려하는 대칭적이고 거리 기반의 정확도 측정 지표를 정의할 수 있는가?
• RQ2 비정렬 가능하거나 관련성이 없는 서열이 존재할 경우 감도와 특이도를 균형 있게 유지함으로써 정렬 정확도를 향상시킬 수 있는가?
• RQ3 기존 정렬 도구들이 표준 감도 지표로 평가할 때조차 일관성 없는 정렬을 생성하는 정도는 어느 정도인가?
• RQ4 기준 정렬이 제공되지 않을 경우, 서로 다른 프로그램이 생성한 정렬 간의 거리가 정확도의 신뢰할 수 있는 대체 지표로 기능할 수 있는가?
• RQ5 단일 조정 가능한 매개변수(갭 요소)가 정렬 알고리즘에서 감도/특이도 트레이드오프를 효과적으로 제어할 수 있는가?

주요 결과

• SABmark 데이터셋에서 갭 요소가 4로 설정된 AMAP가 ProbCons 및 Align-m를 모두 능가하는 가장 높은 AMA 점수를 기록했다.
• 비터비 알고리즘은 2,781개의 문자 쌍이 잘못 정렬되어 기대 AMA 점수가 72.2에 그쳐, AMAP 변종보다 유의미하게 낮았다.
• MUSCLE 및 ClustalW와 같은 기존 도구들은 높은 감도를 보이지만 낮은 특이도를 보이며, Twilight-FP 데이터셋에서 관련성이 없는 서열 쌍의 약 70%를 정렬했다.
• 다른 프로그램이 생성한 정렬 간의 거리와 정확도 사이에 강한 상관관계가 존재하여, 기준 정렬이 없을 경우 저품질 정렬을 식별할 수 있다.
• Gf = 0.5 또는 1로 설정된 AMAP가 MEA 기준선(Gf = 0)을 초월하여 우수한 성능을 보이며, 갭 요소 조정이 표준 기대 정확도 최대화를 넘어서는 이점을 제공함을 입증했다.
• 시뮬레이션 연구에서 이 방법은 관련성이 없는 영역과 보존된 동일한 서열을 효과적으로 구분하여, 임의의 양성(false positive)을 줄이는 능력을 확인했다.