[논문 리뷰] Scalable Deep Learning for RNA Secondary Structure Prediction

Jörg K. H. Franke, Frederic Runge외 1명|arXiv (Cornell University)|2023. 07. 14.

RNA and protein synthesis mechanisms인용 수 9

한 줄 요약

RNAformer는 잠재 공간에서 RNA 염기쌍 인접성을 모델링하는 간결한 축-어텐션 Transformer로, TS0에서 최첨단 성능을 달성하고 intra- 및 inter-family 예측 전반에 걸쳐 기저 생물물리적 접힘 모델 학습을 보여준다.

ABSTRACT

The field of RNA secondary structure prediction has made significant progress with the adoption of deep learning techniques. In this work, we present the RNAformer, a lean deep learning model using axial attention and recycling in the latent space. We gain performance improvements by designing the architecture for modeling the adjacency matrix directly in the latent space and by scaling the size of the model. Our approach achieves state-of-the-art performance on the popular TS0 benchmark dataset and even outperforms methods that use external information. Further, we show experimentally that the RNAformer can learn a biophysical model of the RNA folding process.

연구 동기 및 목표

• 전통적 다이나믹 프로그래밍 및 초기 DL 방법을 넘어서는 de novo RNA 이차 구조 예측의 개선 동기를 제시한다.
• 잠재 공간에서 RNA 페어링 인접 행렬을 직접 모델링하는 간결한 아키텍처를 제안한다.
• 외부 정보나 앙상블 없이 TS0에서 최첨단 성능을 입증한다.
• Rfam으로부터의 RNAfold 데이터로 학습했을 때 inter-family 예측 및 생물물리적 접힘 모델을 학습할 수 있는지 조사한다.

제안 방법

• 행-방향 및 열-방향 의존성을 가지는 잠재 RNA 페어링 행렬을 축 어텐션으로 모델링한다.
• 행 및 열 표현을 위한 두 개의 선형 임베딩으로 RNA 서열을 임베딩한 다음, 이를 잠재 인접 표현으로 결합한다.
• 행-방향 및 열-방향 축 어텐션과 3x3 합성곱 네트워크를 포함한 여러 Transformer 유사 블록을 통해 잠재 표현을 처리한다.
• 잠재 공간 재활용을 적용한다(중간 패스 시 기울기 없음)으로 유효 깊이를 증가시킨다.
• 손실 계산 시 base-pairing 예측의 클래스 불균형을 해결하기 위해 adjacency 행렬에서 매칭되지 않은 항목의 50%를 마스킹한다.
• AdamW로 학습하고, 워밍업 + 코사인 감소, 드롭아웃, 프리-노름, 잔차 연결을 사용하며; 최대 32M 파라미터의 2D 잠재 공간을 사용; intra-family(bpRNA) 및 inter-family(Rfam-RNAfold) 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 간결한 축-어텐션 아키텍처가 외부 정보 없이 경쟁력 있거나 더 우수한 TS0 성능을 달성하도록 RNA base-pair adjacency를 직접 모델링할 수 있는가?
• RQ2 잠재 공간 재활용이 RNA 이차 구조 예측에서 더 깊은 모델을 시뮬레이션하여 성능을 향상시키는가?
• RQ3 RNAformer가 inter-family 예측으로 일반화하고 Rfam에서 유래한 데이터로 학습할 때 RNAfold와 유사한 생물물리적 접힘 모델을 학습할 수 있는가?

주요 결과

모델	TS0	F1 점수	해결된
RNAformer 32M+ recycling	0.728	0.733	17.2%
RNAformer 32M	0.717	0.727	16.6%
RNAformer 8M	0.708	0.716	14.4%
RNAformer 2M	0.677	0.684	11.4%
RNAformer 0.5M	0.644	0.653	8.7%
RNA-FM	0.667	0.671	10.4%
ProbTransformer	0.625	-	11.8%
SPOT-RNA	0.597	0.597	0.05%
RNAfold	0.492	0.499	0.8%

• RNAformer는 TS0에서 최첨단 성능을 달성했으며, 최대 32M 파라미터 모델과 재활용을 더해 0.728 TS0, 0.733 F1, 그리고 TS0에서 17.2% 해결을 달성했다.
• 모델 크기를 늘리면 intra-family 예측 전반에서 일관된 성능 향상을 보이며, 아키텍처의 유도 바이어스가 유익함을 시사한다.
• 재활용은 비재활용 변형에 비해 약 1%의 성능 향상을 제공한다.
• 인터-패밀리/Rfam 유래 데이터에서 RNAformer 대형 모델은 (Rfam TS에서 F1 최대 0.967, TS-hard에서 0.651)와 같이 내부 패밀리 유사 정확도에 도달하고, 일부 설정에서 TS-hard에서 RNAfold를 능가하거나 일치시키며, 모델이 underlying 생물물리적 접힘 과정을 학습할 수 있음을 시사한다.
• RNAformer는 데이터 규모와 모델 용량에 따라 확장되며, 모델 크기가 커질수록 RNAfold의 동작을 더 밀접하게 재현한다.