[论文解读] BEACON: Benchmark for Comprehensive RNA Tasks and Language Models

Yuchen Ren, Zhiyuan Chen+11 more|arXiv (Cornell University)|Jun 14, 2024

RNA and protein synthesis mechanisms被引用 7

一句话总结

BEACON 引入了第一個涵盖结构、功能与工程的全面 RNA 基准测试，分析包括 RNA foundation models 在内的多种模型，并确定单核苷酸分词与 ALiBi 作为有效组件，提出 BEACON-B 基线。

ABSTRACT

RNA plays a pivotal role in translating genetic instructions into functional outcomes, underscoring its importance in biological processes and disease mechanisms. Despite the emergence of numerous deep learning approaches for RNA, particularly universal RNA language models, there remains a significant lack of standardized benchmarks to assess the effectiveness of these methods. In this study, we introduce the first comprehensive RNA benchmark BEACON ( extbf{BE}nchm extbf{A}rk for extbf{CO}mprehensive R extbf{N}A Task and Language Models). First, BEACON comprises 13 distinct tasks derived from extensive previous work covering structural analysis, functional studies, and engineering applications, enabling a comprehensive assessment of the performance of methods on various RNA understanding tasks. Second, we examine a range of models, including traditional approaches like CNNs, as well as advanced RNA foundation models based on language models, offering valuable insights into the task-specific performances of these models. Third, we investigate the vital RNA language model components from the tokenizer and positional encoding aspects. Notably, our findings emphasize the superiority of single nucleotide tokenization and the effectiveness of Attention with Linear Biases (ALiBi) over traditional positional encoding methods. Based on these insights, a simple yet strong baseline called BEACON-B is proposed, which can achieve outstanding performance with limited data and computational resources. The datasets and source code of our benchmark are available at https://github.com/terry-r123/RNABenchmark.

研究动机与目标

• 建立一个涵盖结构、功能与工程的全面、标准化的 RNA 任务基准，以实现方法之间的公平比较。
• 系统地在多样化的 RNA 任务上评估传统神经网络模型与 RNA 语言模型。
• 研究 RNA 语言模型组件（分词与位置编码），以识别有效的设计选择。
• 提出一个强大且高效的基线 BEACON-B，利用单核苷酸分词与 ALiBi，具有广泛适用性。

提出的方法

• 组装 BEACON，包含来自结构、功能与工程研究的 13 项任务，总计 967k RNA 序列。
• 评估从 CNN、ResNet、LSTM 到预训练 RNA 语言模型（RNA-FM, RNABERT, RNA-MSM, SpliceBERT, 3UTRBERT, UTR-LM）的多种模型。
• 对分词方法（Single Nucleotide、BPE、6mer、Non-overlap）和位置编码（APE、ALiBi、RoPE）进行消融研究。
• 在相同训练设置下微调 RNA foundation models 以进行公平比较；并与朴素监督基线进行比较。
• 通过在 BERT 骨干上结合单核苷酸分词与 ALiBi，开发 BEACON-B，以实现快速、数据高效的性能。

实验结果

研究问题

• RQ1 现有模型（CNN、ResNet、LSTM 以及 RNA 语言模型）在 13 项 BEACON 任务中的表现如何？
• RQ2 分词与位置编码选择对 RNA 语言模型性能有何影响？
• RQ3 像 BEACON-B 这样的简单基线在数据和计算资源有限的情况下能否取得强结果？
• RQ4 预训练属性（例如 ncRNA、5’/3’ UTR）是否在 RNA 任务中带来特定任务的提升？
• RQ5 哪些任务类型（结构、功能、工程）最能从 RNA foundation models 获得收益？

主要发现

• RNA language models 在 13 项任务中的 8 项相较于先前的特定任务 SOTA 提升，显示了无监督预训练的价值。
• ResNet 和 LSTM 基线仍具竞争力，在若干任务上甚至优于某些语言模型，凸显传统架构的持续优势。
• 单核苷酸分词在大多数任务中持续优于 BPE、6mer 与 Non-overlap，尤其是在与 ALiBi 配对时。
• ALiBi 位置编码通常比 RoPE 或 Absolute Encoding 在 RNA 任务上具有更好的泛化，尤其是对较短序列。
• 在 RNA 属性（如 ncRNA、5’/3’ UTR）上的预训练带来任务特定的提升，例如 ncRNA 上的 RNA-FM、pre-mRNA 上的 SpliceBERT，以及与 UTR 相关任务的 UTR-LM 变体。
• BEACON-B 以低数据和计算实现了出色的性能，为社区提供一个快速、开源的基线。