[논문 리뷰] ThreshKnot: Thresholded ProbKnot for Improved RNA Secondary Structure Prediction

Liang Zhang, He Zhang외 2명|arXiv (Cornell University)|2019. 12. 30.

RNA and protein synthesis mechanisms참고 문헌 39인용 수 9

한 줄 요약

ThreshKnot는 ProbKnot 알고리즘의 임계값 조정 버전으로, 가용성 확률이 설정 가능한 임계값 θ 이하인 기저 쌍을 필터링하여 RNA 이차 구조 예측의 정확도를 향상시킨다. 이로 인해 RNAstructure, Vienna RNAfold, CONTRAfold의 세 가지 주요 접힘 엔진에서 MEA보다 더 높은 정확도, 더 나은 편도 예측 능력, 더 빠른 실행 시간을 달성한다. θ = 0.3일 때 ThreshKnot는 항상 MEA보다 PPV와 민감도에서 뛰어나며, O(n²)의 효율성을 유지한다.

ABSTRACT

RNA structure prediction is a challenging problem, especially with pseudoknots. Recently, there has been a shift from the classical minimum free energy-based methods (MFE) to partition function-based ones that assemble structures using base-pairing probabilities. Two examples of the latter group are the popular maximum expected accuracy (MEA) method and the ProbKnot method. ProbKnot is a fast heuristic that pairs nucleotides that are reciprocally most probable pairing partners, and unlike MEA, can also predict structures with pseudoknots. However, ProbKnot's full potential has been largely overlooked. In particular, when introduced, it did not have an MEA-like hyperparameter that can balance between positive predictive value (PPV) and sensitivity. We show that a simple thresholded version of ProbKnot, which we call ThreshKnot, leads to more accurate overall predictions by filtering out unlikely pairs whose probabilities fall under a given threshold. We also show that on three widely-used folding engines (RNAstructure, Vienna RNAfold, and CONTRAfold), ThreshKnot always outperforms the much more involved MEA algorithm in (1) its higher structure prediction accuracy, (2) its capability to predict pseudoknots, and (3) its faster runtime and easier implementation. This suggests that ThreshKnot should replace MEA as the default partition function-based structure prediction algorithm. ThreshKnot is already available in the widely used RNAstructure software package version 6.2 (released November 27, 2019): https://rna.urmc.rochester.edu/RNAstructure.html

연구 동기 및 목표

• MEA의 γ와 같은 하이퍼파라미터가 없는 ProbKnot 알고리즘에서 정밀도(PPV)와 재현율(민감도) 간의 조정 가능한 균형이 부족한 문제를 해결하기 위해.
• 기저 쌍의 확률에 임계값 θ를 적용하여 낮은 확률의 기저 쌍을 필터링함으로써 분할 함수 기반 RNA 구조 예측의 정확도를 향상시키기 위해.
• MEA보다 더 복잡한 알고리즘에 비해 단순하고 빠르며 효율적인 방법으로 효과적인 편도 예측을 가능하게 하기 위해.
• 다양한 널리 사용되는 RNA 접힘 도구에서 뛰어난 성능과 단순성으로 인해 MEA를 대체하여 분할 함수 기반 RNA 구조 예측의 기본 방법으로 자리매김하기 위해.

제안 방법

• ThreshKnot는 분할 함수에서 유도된 기저 쌍 확률에 임계값 θ를 적용하여 확률이 θ 미만인 모든 기저 쌍을 제외한다.
• ProbKnot에서 사용하는 동일한 역확률 기반 기저 쌍 조합 히وري스틱을 사용하지만, θ 기반의 필터링 단계를 추가하여 임의의 기저 쌍을 줄인다.
• 잭나이프 재표본 추출을 통해 RNA 가족 전체에 걸쳐 θ를 최적화하며, F-스코어를 최대화하는 데 있어 θ = 0.3이 최적임을 확인하였다.
• 이 방법은 ProbKnot와 동일한 O(n²) 시간 복잡도를 유지하며, RNAstructure와 같은 기존 RNA 접힘 소프트웨어와도 호환된다.
• 전체 구조와 교차 기저 쌍(편도를 위해)에 대해 PPV와 민감도를 계산하여 편도 예측 정확도 평가가 가능하다.
• 임계값 기반 접근은 민감도(높은 θ)와 PPV(낮은 θ) 간의 동적 균형 조정을 가능하게 하여, MEA의 γ 파rameter에 대한 단순한 대안을 제공한다.

실험 결과

연구 질문

• RQ1 단순한 임계값 설정 메커니즘이 계산 비용 증가 없이 ProbKnot의 정확도를 향상시킬 수 있는가?
• RQ2 ThreshKnot이 여러 RNA 접힘 엔진에서 MEA보다 전체 구조 예측 정확도와 편도 탐지 능력 면에서 뛰어나게 되는가?
• RQ3 다양한 RNA 가족 간에 PPV와 민감도를 균형 잡는 데 일관되게 최적의 임계값 θ가 존재하는가?
• RQ4 ThreshKnot이 뛰어난 성능과 단순성으로 인해 MEA를 대체하여 분할 함수 기반 RNA 구조 예측의 기본 방법이 될 수 있는가?
• RQ5 MEA가 편도를 예측할 수 없는 점을 감안할 때, 임계값 설정이 교차 기저 쌍(편도) 예측 능력 향상에 기여하는가?

주요 결과

• θ = 0.3일 때 ThreshKnot은 RNAstructure, Vienna RNAfold, CONTRAfold의 세 엔진 모두에서 MEA보다 일관되게 더 높은 전체 F-스코어를 기록한다.
• 2,889개의 시퀀스, 9개의 RNA 가족으로 구성된 기준 데이터셋에서 ThreshKnot는 MEA보다 더 높은 PPV와 민감도를 기록하였으며, 순열 검증을 통해 통계적 유의성을 입증하였다.
• ThreshKnot는 편도를 성공적으로 예측할 수 있었고, MEA는 그렇지 못했으며, 교차 기저 쌍에 대해 MEA보다 더 높은 편도 PPV와 민감도를 달성하였다.
• 이 방법은 O(n²) 시간에 실행되며, ProbKnot의 효율성과 동일하고 MEA의 O(n³) 구조 조립 단계보다 훨씬 빠르다.
• 모든 잭나이프 재표본 추출 시험에서 일관되게 최적의 임계값 θ = 0.3가 선택되었으며, 이는 다양한 RNA 가족 간의 강인함을 시사한다.
• ThreshKnot는 이제 RNAstructure v6.2에 통합되어 MEA의 대체로 생산 환경에서 사용 가능한 기본 방법으로 채택됨을 확인하였다.