[논문 리뷰] The Universal Similarity Metric does not detect domain similarity

Jairo Rocha, Francesc Rosselló외 1명|arXiv (Cornell University)|2006. 03. 06.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 콜모고로프 복잡도에 영감을 받은 압축 기반 유사도 측정법인 유니버설 유사도 측정법(USM)을 대규모이고 대표적인 단백질 도메인 데이터셋에서 평가한다. 이전의 효과성에 대한 주장에도 불구하고, USM는 기존 방법들에 비해 유의미하게 낮은 도메인 구분 능력을 보이며 단백질 도메인을 신뢰성 있게 구분하지 못한다.

ABSTRACT

Kolmogorov complexity has inspired several alignment-free distance measures, based on the comparison of lengths of compressions, which have been applied successfully in many areas. One of these measures, the socalled Universal Similarity Metric, has been used by Krasnogor and Pelta to compare protein structures, showing that it yielded good clustering on several datasets. In this paper we report an extensive test of this metric using a much larger and representative protein dataset: the domain dataset used by Sierk and Pearson to evaluate seven protein structure comparison methods and two protein sequence comparison methods. The result is that the Universal Similarity Metric has less domain discriminant power than any one of the methods considered by Sierk and Pearson.

연구 동기 및 목표

• 유니버설 유사도 측정법(USM)이 단백질 도메인 유사도를 탐지하는 데 효과적인지 엄격하게 테스트하는 것.
• Sierk와 Pearson의 평가에서 사용된 기존 방법들과 비교해, USM이 대규모이고 대표적인 단백질 도메인 데이터셋에서 강력한 구분 능력을 유지하는지 평가하는 것.
• Krasnogor와 Pelta가 이전에 단백질 구조에서 좋은 클러스터링 결과를 얻었다는 주장에 도전하는 것.
• 생물정보학에서 도메인 유사도 측정법으로서 USM의 탄력성을 평가하는 것.

제안 방법

• USM는 Sierk와 Pearson의 도메인 데이터셋에 적용되었으며, 이는 단백질 구조 비교의 표준 벤치마크이다.
• 이 측정법은 손실 없는 압축 알고리즘을 사용해 압축 길이의 차이를 기반으로 유사도를 계산한다.
• USM의 성능은 Sierk와 Pearson의 평가에서 사용된 일곱 가지 단백질 구조 비교 방법과 두 가지 서열 비교 방법과 비교되었다.
• 클러스터링 품질은 도메인 구분 능력을 정량화하기 위해 표준 지표를 사용해 평가되었다.
• 평가의 초점은 USM이 구조적으로 유사한 도메인을 올바르게 그룹화하는 능력에 맞춰져 있었다.

실험 결과

연구 질문

• RQ1 유니버설 유사도 측정법은 단백질 도메인 간의 구조적 유사도를 효과적으로 탐지할 수 있는가?
• RQ2 USM의 도메인 구분 능력은 Sierk와 Pearson가 평가한 일곱 가지 기존 단백질 구조 비교 방법과 비교해 어떻게 되는가?
• RQ3 USM는 대표적인 데이터셋에서 단백질 도메인을 생물학적으로 의미 있는 그룹으로 신뢰성 있게 클러스터링할 수 있는가?
• RQ4 Krasnogor와 Pelta가 이전에 얻은 양호한 클러스터링 성능에 대한 주장은 더 큰, 더 대표적인 데이터셋에서 재현 가능한가?

주요 결과

• 유니버설 유사도 측정법은 Sierk와 Pearson가 평가한 일곱 가지 단백질 구조 비교 방법 중 어느 것보다도 낮은 도메인 구분 능력을 보였다.
• USM는 대표적인 도메인 데이터셋에서 신뢰할 수 있는 클러스터링 성능를 달성하지 못했으며, 이는 이전의 긍정적인 주장과 정면으로 배치된다.
• 이 측정법의 성능는 구조 기반 방법 뿐 아니라 서열 기반 비교 방법들에 비해도 열등했다.
• 결과는 USM가 생물학적으로 관련 있는 도메인 유사성을 탐지하는 데 충분한 민감도를 갖추지 못하고 있음을 시사한다.
• 이 연구는 USM가 비교 게놈학에서 단백질 도메인 유사도 탐지의 신뢰할 수 있는 대안이 아니라고 결론짓는다.