[論文レビュー] Learning to Design RNA

Frederic Runge, Danny Stoll+2 more|arXiv (Cornell University)|Dec 31, 2018

RNA and protein synthesis mechanisms参考文献 48被引用数 6

ひとこと要約

この論文は、構造類似性を報酬信号として用い、ヌクレオチドを段階的に生成することで、目的の二次構造に折りたたむようにRNA配列を設計する、深層強化学習フレームワークであるLEARNAを紹介する。Meta-LEARNAは65,000件のRNA設計タスクにわたるメタラーニングを拡張したもので、2つの主要なベンチマークで最先端性能を達成し、従来のSOTA手法に比べて63倍から1,765倍の高速化を達成した。

ABSTRACT

Designing RNA molecules has garnered recent interest in medicine, synthetic biology, biotechnology and bioinformatics since many functional RNA molecules were shown to be involved in regulatory processes for transcription, epigenetics and translation. Since an RNA's function depends on its structural properties, the RNA Design problem is to find an RNA sequence which satisfies given structural constraints. Here, we propose a new algorithm for the RNA Design problem, dubbed LEARNA. LEARNA uses deep reinforcement learning to train a policy network to sequentially design an entire RNA sequence given a specified target structure. By meta-learning across 65000 different RNA Design tasks for one hour on 20 CPU cores, our extension Meta-LEARNA constructs an RNA Design policy that can be applied out of the box to solve novel RNA Design tasks. Methodologically, for what we believe to be the first time, we jointly optimize over a rich space of architectures for the policy network, the hyperparameters of the training procedure and the formulation of the decision process. Comprehensive empirical results on two widely-used RNA Design benchmarks, as well as a third one that we introduce, show that our approach achieves new state-of-the-art performance on the former while also being orders of magnitudes faster in reaching the previous state-of-the-art performance. In an ablation study, we analyze the importance of our method's different components.

研究の動機と目的

• エンドツーエンドの深層強化学習を用いて、指定された二次構造に折りたたむような配列を発見するRNAデザイン問題に取り組む。
• 初期配列からの反復的最適化に依存する従来手法の限界を克服し、生成的かつ逐次的な設計方針を提案する。
• 多様な構造にわたるメタラーニングにより、未知のRNAデザインタスクに対するゼロショット一般化を可能にする。
• 再現可能な評価を保証するため、明示的な訓練/検証/テスト分割を備えた新しいベンチマークを導入する。
• 性能と効率を最大化するために、ニューラルアーキテクチャ、ハイパーパramータ、および状態表現を共同最適化する。

提案手法

• 目標となる二次構造に条件づけられた、段階的にRNA配列を生成する方策ネットワークを、深層強化学習によって訓練する。
• 微分可能なRNA折りたたみアルゴリズム（例：MFE）を用いて、生成された配列の予測構造を計算し、その構造類似度に基づいて報酬を算出する。
• 訓練の安定化とサンプル効率の向上のため、カリキュラム学習を適用したプロキシマル方策最適化（PPO）を適用する。
• 65,000件の多様なRNAデザインタスクにわたる学習により、新しい未確認のターゲットに対しても汎用的な方策を学習するメタラーニングを実装する。
• 方策ネットワークのアーキテクチャ（例：畳み込み層および再帰層）・ハイパーパramータ・状態表現を共同最適化するため、ニューラルアーキテクチャ探索（NAS）を実施する。
• 配列生成後に、局所的適応（例：突然変異に基づく精錬）を適用し、最終的な構造の正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、望ましい二次構造に折りたたむような配列を生成するRNA逆折りたたみ問題に効果的に適用可能か？
• RQ2 数多くのRNAデザインタスクにわたるメタラーニングにより、一度の試行で高い成功率で未知のRNAデザイン問題を解ける汎用的方策が得られるか？
• RQ3 ニューラルアーキテクチャ、ハイパーパラメータ、および状態表現の共同最適化は、固定または手動で調整された設計と比較して優れた性能をもたらすか？
• RQ4 従来の最先端のRNAデザインアルゴリズムと比較して、確立されたベンチマーク上での正確性と速度は、提案手法がどのように優れているか？
• RQ5 明示的な訓練/検証/テスト分割を備えた新しいベンチマークは、RNAデザイン評価における再現性と公平性を向上させるか？

主な発見

• Meta-LEARNAは、Rfam-TanedaおよびEterna100ベンチマークで新たな最先端性能を達成し、それぞれ50回の試行で24/29および19/50の構造を解消した。
• LEARNAおよびMeta-LEARNAは、Eterna100およびRfam-Tanedaベンチマークにおいて、MCTS-RNAおよびRL-LSと比較して、従来のSOTA結果を63倍および1,765倍の高速さで達成した。
• アブレーションスタディにより、アーキテクチャ、ハイパーパラメータ、および状態表現の共同最適化が不可欠であることが確認され、各要素を固定した場合に性能が著しく低下した。
• Meta-LEARNAは未確認のRNA構造に対しても良好な一般化性能を示し、Eterna100テストセットで50%のケースで1回の試行で19/50の構造を解消した。
• 明示的な訓練/検証/テスト分割を備えた新しいベンチマークは、先行研究におけるRNAデザイン評価の主要な限界を是正し、より公平で再現可能な評価を可能にした。
• アンタRNA、RNAInverse、MCTS-RNAといった強力なベースラインと比較して、全指標で優れた性能を示し、高い成功確率と高速な収束を達成した。