[论文解读] Designing RNAs with Language Models

Milan Gautam, Ning Dai+4 more|arXiv (Cornell University)|Feb 12, 2026

RNA and protein synthesis mechanisms被引用 0

一句话总结

论文将RNA设计重新表述为在预训练自回归语言模型下的条件序列生成，基于对随机诱导的结构–序列对进行监督学习，并在少量筛选的结构上进行强化学习，以超越最先进的方法并实现更快的采样。

ABSTRACT

RNA design, the task of finding a sequence that folds into a target secondary structure, has broad biological and biomedical impact but remains computationally challenging due to the exponentially large sequence space and exponentially many competing folds. Traditional approaches treat it as an optimization problem, relying on per-instance heuristics or constraint-based search. We instead reframe RNA design as conditional sequence generation and introduce a reusable neural approximator, instantiated as an autoregressive language model (LM), that maps target structures directly to sequences. We first train our model in a supervised setting on random-induced structure-sequence pairs, and then use reinforcement learning (RL) to optimize end-to-end metrics. We also propose methods to select a small subset for RL that greatly improves RL efficiency and quality. Across four datasets, our approach outperforms state-of-the-art systems on key metrics such as Boltzmann probability while being 1.7x faster, establishing conditional LM generation as a scalable, task-agnostic alternative to per-instance optimization for RNA design. Our code and data are available at https://github.com/KuNyaa/RNA-Design-LM.

研究动机与目标

• 将RNA设计（逆折叠）重新表述为在目标结构条件下的条件序列生成。
• 开发一个可复用的神经近似器（语言模型），将目标结构映射到序列。
• 在生成过程中通过约束解码来确保生物化学有效性。
• 将对结构–序列对的监督学习与强化学习结合，优化折叠指标。
• 展示随机诱导的SL数据可以对测试集实现具有竞争力的迁移，并通过高效的结构选择实现可扩展的RL。

提出的方法

• 将RNA设计框架化为以目标结构为条件的自回归LM的条件序列生成。
• 引入一个约束解码机制，在生成过程中强制碱基配对规则，以确保设计的有效性。
• 通过对GPT风格解码LM（Qwen2.5–0.5B）进行最小的结构、RNA标记改动进行适配。
• 使用SAMFEO生成的大规模随机诱导结构–序列数据集进行监督学习，训练得到训练集对（10M对）yX_train。
• 在选定结构上使用基于组相对策略目标（GRPO）的强化学习微调，以热力学奖励为目标。
• 利用数据驱动的子集选择根据样本多样性（AoN和NSD阈值）挑选RL目标，以提高RL效率和质量。

Figure 1: RNA design is the inverse problem of RNA folding.

实验结果

研究问题

• RQ1 RNA设计是否可以有效地作为具有可重复神经求解器的条件序列生成来解决？
• RQ2 约束解码加上对预训练LM的适配是否能在给定目标结构下产生有效且高质量的RNA设计？
• RQ3 对随机诱导的结构–序列对进行监督学习是否能迁移到测试数据并实现有效的RL？
• RQ4 一个小而多样的RL子集是否在效率和质量方面优于在更大、噪声更高的RL集上进行训练？
• RQ5 在SL和RL框架下，Boltzmann概率和集合缺陷基准指标的表现如何？

主要发现

• 最佳的SL模型在N=10^4样本时获得约0.55的N选Best Boltzmann概率。
• 对经过仔细筛选的RL子集应用RL相比于使用更大、未筛选集合，显著提升效率（约2.9倍加速）。
• 在四个测试集上，该方法在关键指标上超越最先进系统，且采样速度快1.7倍。
• 10M对随机诱导的结构–序列对的大规模SL训练集在测试数据上实现具有竞争力的表现。
• 约束解码保证了有效设计，使得在保持生物化学约束的前提下实现高通量、结构条件化生成。

Figure 2: We convert a general-domain LLM into an RNA designer by keeping the pretrained transformer backbone and shrinking the input and output layers. The original embedding and LM head are downsized and reinitialized to support RNA tokens.