[논문 리뷰] An Experimental Comparison of PMSPrune and Other Algorithms for Motif Search

Dolly Sharma, Sanguthevar Rajasekaran외 1명|arXiv (Cornell University)|2011. 08. 26.

Genomics and Phylogenetic Studies참고 문헌 17인용 수 4

한 줄 요약

이 논문은 (l,d)-모티프 문제를 위한 정확한 알고리즘인 PMSprune를 14개의 다른 모티프 찾기 알고리즘과 여러 벤치마크 데이터셋을 기반으로 광범위한 실험적 비교한다. 일곱 가지 통계적 측정치를 사용하여, PMSprune가 민감도와 양성 예측도에서 특히 뛰어나며, 최고 성능을 보이는 알고리즘들과 견줄 만한 성능을 보임을 입증한다. 다만 DME는 특이도 측면에서만 더 우수한 성능을 보이며, 이는 PMSprune가 모티프 발견 분야에서 전체적으로 뛰어난 경쟁력을 지닌다는 것을 시사한다.

ABSTRACT

Extracting meaningful patterns from voluminous amount of biological data is a very big challenge. Motifs are biological patterns of great interest to biologists. Many different versions of the motif finding problem have been identified by researchers. Examples include the Planted $(l, d)$ Motif version, those based on position-specific score matrices, etc. A comparative study of the various motif search algorithms is very important for several reasons. For example, we could identify the strengths and weaknesses of each. As a result, we might be able to devise hybrids that will perform better than the individual components. In this paper we (either directly or indirectly) compare the performance of PMSprune (an algorithm based on the $(l, d)$ motif model) and several other algorithms in terms of seven measures and using well established benchmarks In this paper, we (directly or indirectly) compare the quality of motifs predicted by PMSprune and 14 other algorithms. We have employed several benchmark datasets including the one used by Tompa, et.al. These comparisons show that the performance of PMSprune is competitive when compared to the other 14 algorithms tested. We have compared (directly or indirectly) the performance of PMSprune and 14 other algorithms using the Benchmark dataset provided by Tompa, et.al. It is observed that both PMSprune and DME (an algorithm based on position-specific score matrices) in general perform better than the 13 algorithms reported in Tompa et. al.. Subsequently we have compared PMSprune and DME on other benchmark data sets including ChIP-Chip, ChIP-seq, and ABS. Between PMSprune and DME, PMSprune performs better than DME on six measures. DME performs better than PMSprune on one measure (namely, specificity).

연구 동기 및 목표

• PMSprune가 (l,d)-모티프 문제를 위한 정확한 알고리즘임을 평가하고, 기존 14개의 모티프 찾기 알고리즘과의 성능을 비교하기 위해.
• 표준화된 벤치마크와 다수의 통계적 측정치를 사용하여 알고리즘의 강점과 약점을 평가하기 위해.
• PMSprune와 DME를 조합한 하이브리드 접근 방식이 향상된 성능을 낼 수 있는지 확인하기 위해.
• Tompa의 벤치마크, ChIP-Chip, ChIP-seq, ABS를 포함한 다양한 생물학적 데이터셋에서 결과를 검증하기 위해.
• 실제 유전체학적 맥락에서 모티프 찾기 알고리즘의 상대적 정확도와 내구성에 대한 경험적 증거를 제공하기 위해.

제안 방법

• PMSprune는 길이 l의 모티프가 각 입력 서열 내에서 해밍 거리 d 이내에 존재하는 (l,d)-모티프 모델에 적용된다.
• 연구는 일곱 가지 평가 지표를 사용한다: nSn (음성 민감도), nSp (음성 특이도), sSn (민감도), nPPV (음성 양성 예측도), sPPV (양성 예측도), nPC (음성 상관관계), nCC (음성 상관계수).
• 비교 분석은 네 가지 벤치마크 데이터셋을 대상으로 수행된다: Tompa의 데이터셋, ChIP-Chip, ChIP-seq, ABS로, 각각 다른 생물학적 특성을 지닌다.
• 각 데이터셋에 대해 PMSprune와 다른 14개 알고리즘의 모티프 예측 결과를 일곱 가지 통계적 지표를 사용해 평가한다.
• 위치 특이 점수 행렬 기반 알고리즘인 DME는 정확한 방법(PMSprune)과 히وري스틱 방법(DME) 간의 성능 차이를 평가하기 위해 비교 대상으로 포함된다.
• 결과는 모든 데이터셋에 걸쳐 평균화되어 표로 정리되어, 알고리즘 성능 간 직접 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 PMSprune는 민감도, 특이도, 양성 예측도 측면에서 14개의 다른 모티프 찾기 알고리즘과 어떻게 비교되는가?
• RQ2 PMSprune는 위치 특이 점수 행렬 기반의 선도적 알고리즘인 DME에 비해 어떤 방식으로 승리하거나 열등한가?
• RQ3 PMSprune는 ChIP-Chip, ChIP-seq, 그리고 합성된 ABS 데이터와 같은 다양한 생물학적 데이터셋에서 강력한 성능를 유지하는가?
• RQ4 DME가 PMSprune를 크게 능가하는 특정 성능 지표가 존재하는가? 만약 그렇다면 어떤 조건에서 그러한 성능 격차가 발생하는가?
• RQ5 결과는 정확한 방법과 히وري스틱 방법의 장점을 조합한 하이브리드 모티프 찾기 알고리즘 설계에 어떤 영향을 줄 수 있는가?

주요 결과

• Tompa의 벤치마크 데이터셋에서 PMSprune는 테스트한 14개 알고리즘 중 13개를 능가하며, DME만이 유사한 성능를 보였다.
• 일곱 가지 성능 지표 중 여섯 가지에서 PMSprune가 DME를 능가한다: nSn에서 8% 이상 향상되었고, sSn에서는 10% 이상 향상되었다.
• DME는 특이도에서 PMSprune를 3.5% 이내로 뛰어나게 하며, 이는 이 단일 지표에서만 측정 가능한 미세한 우위를 의미한다.
• ChIP-Chip 데이터에서 PMSprune는 DME보다 높은 nSn(0.1464 대비 0.1416)과 sSn(0.2254 대비 0.2025)을 기록했으며, 양성 예측도에서도 뛰어난 성능를 보였다.
• ChIP-seq 데이터에서 PMSprune는 모든 변종에서 더 높은 민감도와 특이도를 유지했으며, nSn는 PMSumMin 기준 0.1554, DMESumMin 기준 0.1128이었고, nSp는 각각 0.8613과 0.9121이었다.
• ABS 데이터셋에서 PMSprune는 nSn에서 1.2배 향상(0.1934 대비 0.1485), sSn에서 1.4배 향상(0.2298 대비 0.1650)을 기록하여, 합성적이고 통제된 데이터에서의 내구성을 확인했다.