[논문 리뷰] Rethinking Performance Measures of RNA Secondary Structure Problems

Frederic Runge, Jörg K. H. Franke외 2명|arXiv (Cornell University)|2023. 12. 04.

RNA and protein synthesis mechanisms인용 수 4

한 줄 요약

이 논문은 전통적인 평가 지표인 F1 점수와 MCC보다도 RNA 이차 구조 예측을 평가하는 데 더 나은 대안으로 Weisfeiler-Lehman (WL) 그래프 커널을 제안한다. Confusion matrix 기반의 측정법은 역동적이거나 페우드오드를 가진 RNA에서 구조 유사성을 포착하지 못하는 반면, WL은 그래프 기반의 유사성에 기반하여 생물학적 관련성을 정확히 반영하며, 성능 향상이 측정 가능한 RNA 설계 작업에서 더 높은 평가 정밀도와 실용성을 보여준다.

ABSTRACT

Accurate RNA secondary structure prediction is vital for understanding cellular regulation and disease mechanisms. Deep learning (DL) methods have surpassed traditional algorithms by predicting complex features like pseudoknots and multi-interacting base pairs. However, traditional distance measures can hardly deal with such tertiary interactions and the currently used evaluation measures (F1 score, MCC) have limitations. We propose the Weisfeiler-Lehman graph kernel (WL) as an alternative metric. Embracing graph-based metrics like WL enables fair and accurate evaluation of RNA structure prediction algorithms. Further, WL provides informative guidance, as demonstrated in an RNA design experiment.

연구 동기 및 목표

• 복잡한 특징(예: 페우드오드 및 다중 상호작용 기반 쌍)이 있는 경우 기존 평가 지표인 F1 점수와 MCC가 RNA 이차 구조 유사성을 측정하는 데 한계를 보이는 문제를 해결하기 위해.
• Confusion matrix 기반 지표가 생물학적으로 유사한 구조에 대해 0 또는 음수 점수를 부여할 수 있음에도 불구하고 잘못된 점수를 낼 수 있음을 보여주기 위해.
• Weisfeiler-Lehman (WL) 그래프 커널을 도입하여 RNA 구조의 구조적 및 염기서열 수준의 유사성을 더 생물학적으로 의미 있는 방식으로 포착하는 더 의미 있는 지표로 활용하기 위해.
• WL이 실제 응용 분야에서 실용적으로 유용한지 평가하기 위해, 특히 학습 기반 RNA 설계 알고리즘의 최적화를 이끄는 데에 활용 가능한지 검토하기 위해.
• 딥 러닝 모델의 RNA 구조 예측을 위한 엔드 투 엔드 학습을 가능하게 하는, WL의 미분 가능한 서rogate 모델의 잠재력을 탐색하기 위해.

제안 방법

• 핵산 기반의 노드와 기반 쌍을 간선으로 하는 무방향 그래프로 RNA 이차 구조를 표현하여 그래프 기반 분석이 가능하도록 한다.
• Weisfeiler-Lehman (WL) 그래프 커널을 적용하여 이웃 집합의 평균을 통한 반복적 노드 레이블 개선을 통해 구조적 유사성을 계산한다.
• WL 커널 점수를 예측된 구조와 참값 구조를 비교하는 연속적이고 정보적인 지표로 사용하여, 이진 confusion matrix 기반 측정법을 대체한다.
• libLEARNA RNA 설계 알고리즘의 평가 루프에 WL을 통합하여 히스토그램 거리 대신 진화적 탐색을 이끄는 데 사용한다.
• WL 거리를 근사하는 그래프 신경망(GNN)-기반 서rogate 모델을 학습시켜 딥 러닝 학습 중에 유연한 지도를 제공한다.
• 이중 안정성 RNA, 불리지 이동 시뮬레이션, 염기 서열 변형 시나리오에서 WL을 F1, F1-shift, MCC와 비교하기 위한 제어 실험을 수행한다.

Figure 1: Bi-stable RNA 20mer. The F1 score and MCC when comparing both folds is $0.0$ and $-0.026$ , respectively. The Weisfeiler-Lehman graph kernel provides a score of $0.25$ .

실험 결과

연구 질문

• RQ1 F1 점수와 MCC와 같은 전통적 평가 지표는 특히 구조적 역동성이나 페우드오드가 포함된 경우, 생물학적으로 유사한 RNA 이차 구조 간의 유사성을 신뢰성 있게 측정할 수 있는가?
• RQ2 Weisfeiler-Lehman 그래프 커널은 confusion matrix 기반 지표보다 RNA 이차 구조 예측에서 더 정확하고 생물학적으로 의미 있는 구조적 유사성 측정법을 제공하는가?
• RQ3 WL은 최적화 과정에서 더 나은 지도를 제공함으로써 학습 기반 RNA 설계 알고리즘의 성능을 향상시킬 수 있는가?
• RQ4 기본 쌍 이동, 불리지 이동, 염기 서열 변형과 같은 생물학적으로 관련된 변화에 대해 WL은 기존 지표와 비교해 어떻게 반응하는가?
• RQ5 GNN 기반의 WL 서rogate 모델은 어느 정도까지 딥 러닝 모델의 RNA 구조 예측을 위한 미분 가능한 학습을 가능하게 하는가?

주요 결과

• F1 점수와 MCC는 이중 안정성 RNA 20mers에서 동일한 기반 쌍 패턴을 공유하고 있음에도 불구하고, 각각 0.0과 -0.026의 점수를 기록하여 오류를 유발한다.
• WL 커널은 올바르게 구조적 유사성을 식별하여 이중 안정성 RNA 20mers에 대해 0.25의 점수를 기록함으로써 생물학적으로 관련된 유사성을 포착할 수 있음을 보여준다.
• 기본 쌍 이동에 대해 WL 점수는 점진적으로 감소한다(한 칸 이동 시 0.519, 두 칸 이동 시 0.469), 반면 F1과 F1-shift는 0으로 급격히 떨어지므로 WL이 구조적 변화에 민감함을 보인다.
• 불리지 이동 시뮬레이션에서 WL은 이동 거리가 증가함에 따라 점진적으로 유사도가 감소하는 반면, F1-shift 점수는 항상 1.0을 유지하여 구조적 차이를 식별하지 못함을 보여준다.
• WL은 서열 수준의 변화를 효과적으로 포착하며, 변형 수에 비례해 점수가 점진적으로 감소한다. 이는 F1, MCC, F1-shift에선 관찰되지 않는 능력이다.
• libLEARNA RNA 설계 알고리즘에 WL 기반 평가를 적용한 libLEARNA-WL은 히스토그램 거리 기반 평가 대비 성능 향상을 보이며 실용적 유용성을 입증한다.

Figure 2: Example of structural shift. (Left) We show a 5SrRNA of Drosophila melanogaster (Middle) The same structure shifted by one position. (Right) The same structure shifted by two positions.