[论文解读] Learning to Design RNA

Frederic Runge, Danny Stoll+2 more|arXiv (Cornell University)|Dec 31, 2018

RNA and protein synthesis mechanisms参考文献 48被引用 6

一句话总结

本文提出 LEARNA，一种基于深度强化学习的框架，通过逐个生成核苷酸并利用结构相似性作为奖励信号，设计出能折叠成目标二级结构的RNA序列。Meta-LEARNA 是其扩展版本，通过在 65,000 个 RNA 设计任务上进行元学习，实现了在两个主要基准上的最先进性能，并将先前最先进结果的求解速度提升了 63 倍至 1,765 倍。

ABSTRACT

Designing RNA molecules has garnered recent interest in medicine, synthetic biology, biotechnology and bioinformatics since many functional RNA molecules were shown to be involved in regulatory processes for transcription, epigenetics and translation. Since an RNA's function depends on its structural properties, the RNA Design problem is to find an RNA sequence which satisfies given structural constraints. Here, we propose a new algorithm for the RNA Design problem, dubbed LEARNA. LEARNA uses deep reinforcement learning to train a policy network to sequentially design an entire RNA sequence given a specified target structure. By meta-learning across 65000 different RNA Design tasks for one hour on 20 CPU cores, our extension Meta-LEARNA constructs an RNA Design policy that can be applied out of the box to solve novel RNA Design tasks. Methodologically, for what we believe to be the first time, we jointly optimize over a rich space of architectures for the policy network, the hyperparameters of the training procedure and the formulation of the decision process. Comprehensive empirical results on two widely-used RNA Design benchmarks, as well as a third one that we introduce, show that our approach achieves new state-of-the-art performance on the former while also being orders of magnitudes faster in reaching the previous state-of-the-art performance. In an ablation study, we analyze the importance of our method's different components.

研究动机与目标

• 使用端到端的深度强化学习解决 RNA 设计问题——即寻找一个能折叠成指定二级结构的序列。
• 通过提出一种生成式、顺序化的设计策略，克服先前方法依赖从初始序列迭代优化的局限性。
• 通过在多样化结构上进行元学习，实现对新 RNA 设计任务的零样本泛化能力。
• 引入一个具有明确训练/验证/测试划分的新基准，以确保可复现的评估。
• 联合优化神经网络架构、超参数和状态表示，以最大化性能与效率。

提出的方法

• 通过深度强化学习训练策略网络，逐步生成 RNA 序列，条件为给定的目标二级结构。
• 使用可微分的 RNA 折叠算法（例如 MFE）计算生成序列的预测结构，并基于与目标结构的相似性计算奖励。
• 应用近端策略优化（PPO）结合课程学习，以稳定训练并提高样本效率。
• 通过在 65,000 个多样化 RNA 设计任务上进行训练，实现元学习，以学习一个适用于新、未见目标的单一通用策略。
• 进行神经架构搜索（NAS），以联合优化策略网络的架构（例如卷积层和循环层）、超参数和状态表示。
• 在序列生成后应用局部微调（例如基于突变的优化）以提高最终结构的准确性。

实验结果

研究问题

• RQ1 深度强化学习能否有效应用于 RNA 逆折叠问题，以生成能折叠成期望二级结构的序列？
• RQ2 在数千个 RNA 设计任务上进行元学习，能否产生一个单一、可泛化的策略，使新 RNA 设计问题在首次尝试中即获得高成功率？
• RQ3 联合优化神经网络架构、超参数和状态表示是否能带来优于固定或人工调优设计的性能？
• RQ4 与现有最先进 RNA 设计算法相比，该方法在既定基准上的准确性和速度表现如何？
• RQ5 具有明确训练/验证/测试划分的新基准是否能提升 RNA 设计评估的公平性与可复现性？

主要发现

• Meta-LEARNA 在 Rfam-Taneda 和 Eterna100 基准上均达到新的最先进性能，分别在 50 次尝试内解决了 24/29 和 19/50 个结构。
• LEARNA 和 Meta-LEARNA 在 Eterna100 和 Rfam-Taneda 基准上，分别比 MCTS-RNA 和 RL-LS 快 63 倍和 1,765 倍，解决了先前最先进结果。
• 消融实验表明，联合优化架构、超参数和状态表示至关重要，当其中任一组分被固定时，性能显著下降。
• Meta-LEARNA 对未见过的 RNA 结构泛化良好，在 Eterna100 测试集中以单次采样成功解决了 19/50 个结构，成功率高达 50%。
• 具有明确训练/验证/测试划分的新基准实现了更公平、更可复现的评估，解决了先前 RNA 设计文献中的一个关键局限。
• 该方法在所有指标上均优于强基线模型 antaRNA、RNAInverse 和 MCTS-RNA，具有更高的成功率和更快的收敛速度。