[论文解读] Interpretable RNA Foundation Model from Unannotated Data for Highly Accurate RNA Structure and Function Predictions

Jiayang Chen, Zhigang Hu+10 more|arXiv (Cornell University)|Apr 1, 2022

RNA and protein synthesis mechanisms被引用 49

一句话总结

RNA-FM 是一个基础模型，在 23 million 未标注的非编码 RNA 序列上通过自监督学习进行训练，生成的嵌入能够提升 RNA 二级/3D 结构与功能预测（包括对 SARS-CoV-2 的分析），并具有强跨任务泛化能力。

ABSTRACT

Non-coding RNA structure and function are essential to understanding various biological processes, such as cell signaling, gene expression, and post-transcriptional regulations. These are all among the core problems in the RNA field. With the rapid growth of sequencing technology, we have accumulated a massive amount of unannotated RNA sequences. On the other hand, expensive experimental observatory results in only limited numbers of annotated data and 3D structures. Hence, it is still challenging to design computational methods for predicting their structures and functions. The lack of annotated data and systematic study causes inferior performance. To resolve the issue, we propose a novel RNA foundation model (RNA-FM) to take advantage of all the 23 million non-coding RNA sequences through self-supervised learning. Within this approach, we discover that the pre-trained RNA-FM could infer sequential and evolutionary information of non-coding RNAs without using any labels. Furthermore, we demonstrate RNA-FM's effectiveness by applying it to the downstream secondary/3D structure prediction, SARS-CoV-2 genome structure and evolution prediction, protein-RNA binding preference modeling, and gene expression regulation modeling. The comprehensive experiments show that the proposed method improves the RNA structural and functional modelling results significantly and consistently. Despite only being trained with unlabelled data, RNA-FM can serve as the foundational model for the field.

研究动机与目标

• 激励利用大规模未标注的 ncRNA 数据来提升结构和功能预测，超越依赖标签的模型。
• 开发一个任务无关的 RNA 基础模型 (RNA-FM)，在 23M ncRNA 序列上使用自监督学习。
• 证明 RNA-FM 嵌入能够捕捉序列、结构和进化信息。
• 展示使用轻量级头部微调在多个下游任务上实现最先进的性能。

提出的方法

• 构建一个基于 BERT 架构的 12 层 Transformer（RNA-FM）。
• 在 RNAcentral 的 23 million 条 ncRNA 序列上进行预训练，使用掩码标记重建（自监督）。
• 处理后将每个序列表示为一个 L x 640 的嵌入矩阵。
• 使用任务特定头进行微调，或将嵌入作为下游模型的特征。
• 在多样化基准上与领先的二级结构预测器以及 3D 距离/闭合任务进行比较。
• 提供一个网页服务器并发布代码/权重，供社区使用。

实验结果

研究问题

• RQ1 在未标注的 ncRNA 数据上训练的基础模型是否能够学习到捕捉结构和功能信号的表示？
• RQ2 RNA-FM 嵌入是否在 RNA 二级结构预测、3D 接近度/距离预测以及 RNA-蛋白/调控任务上相对于最先进方法有改进？
• RQ3 RNA-FM 表示中是否嵌入了可解释的、与进化相关的信息？
• RQ4 RNA-FM 在基准测试中对调控区域和病毒基因组（如 SARS-CoV-2）的泛化能力如何？

主要发现

• RNA-FM 嵌入将 ncRNA 类型在嵌入空间中按结构/功能属性进行组织，表明学习到的生物信号。
• RNA-FM 在二级结构基准（例如 ArchiveII600 和 bpRNA TS0）上实现更高的 F1，优于许多最先进的方法，在若干情境中甚至可超越 UFold。
• 在 3D 距离/接近方面，使用 RNA-FM 嵌入的模型优于使用 MSA 共变和 PETfold 的模型，迁移学习在小数据集上带来显著提升。
• 尽管只在未标注的 RNA 序列上进行训练，RNA-FM 嵌入在蛋白质-RNA 相互作用和基因表达调控建模方面实现了有竞争力甚至优于的方法。
• RNA-FM 支持 3D 距离预测任务，结合序列数据时获得更高的 R2 和 PMCC、以及更低的 MSE，并且可以实现对 RNA 拼图的端到端可微分 3D 预测。
• RNA-FM 嵌入提升了 SARS-CoV-2 基因组调控元件预测，并且可以揭示病毒变体之间的进化趋势。