[논문 리뷰] Learning to Design RNA

Frederic Runge, Danny Stoll외 2명|arXiv (Cornell University)|2018. 12. 31.

RNA and protein synthesis mechanisms참고 문헌 48인용 수 6

한 줄 요약

이 논문은 표적 2차 구조로 접히는 RNA 서열을 순차적으로 뉴클레오티드를 생성하면서 구조 유사도를 보상 신호로 사용하는 딥 강화학습 프레임워크인 LEARNA를 소개한다. 65,000개의 RNA 설계 과제를 기반으로 메타학습하는 Meta-LEARNA는 두 가지 주요 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 최고 성능에 비해 63배에서 1,765배 빠르게 도달한다.

ABSTRACT

Designing RNA molecules has garnered recent interest in medicine, synthetic biology, biotechnology and bioinformatics since many functional RNA molecules were shown to be involved in regulatory processes for transcription, epigenetics and translation. Since an RNA's function depends on its structural properties, the RNA Design problem is to find an RNA sequence which satisfies given structural constraints. Here, we propose a new algorithm for the RNA Design problem, dubbed LEARNA. LEARNA uses deep reinforcement learning to train a policy network to sequentially design an entire RNA sequence given a specified target structure. By meta-learning across 65000 different RNA Design tasks for one hour on 20 CPU cores, our extension Meta-LEARNA constructs an RNA Design policy that can be applied out of the box to solve novel RNA Design tasks. Methodologically, for what we believe to be the first time, we jointly optimize over a rich space of architectures for the policy network, the hyperparameters of the training procedure and the formulation of the decision process. Comprehensive empirical results on two widely-used RNA Design benchmarks, as well as a third one that we introduce, show that our approach achieves new state-of-the-art performance on the former while also being orders of magnitudes faster in reaching the previous state-of-the-art performance. In an ablation study, we analyze the importance of our method's different components.

연구 동기 및 목표

• 종합적인 딥 강화학습을 사용해 특정 2차 구조로 접히는 서열을 찾는 RNA 설계 문제를 해결한다.
• 기존 방법이 초기 서열에서 반복 최적화에 의존하는 데에 한계가 있음을 고려해, 생성형이고 순차적인 설계 정책을 제안한다.
• 다양한 구조를 기반으로 한 메타학습을 통해 새로운, 알려지지 않은 RNA 설계 과제에 대해 제로샷 일반화를 가능하게 한다.
• 재현 가능성을 보장하기 위해 명시적인 훈련/검증/테스트 분할을 포함한 새로운 벤치마크를 도입한다.
• 성능과 효율성을 극대화하기 위해 신경망 아키텍처, 하이퍼파라미터, 상태 표현을 동시에 최적화한다.

제안 방법

• 표적 2차 구조를 조건으로 하여 단계적으로 RNA 서열을 생성하는 정책 네트워크를 딥 강화학습으로 훈련한다.
• 예측된 서열의 구조를 계산하기 위해 미분 가능한 RNA 접힘 알고리즘(MFE 등)을 사용하고, 표적과의 구조 유사도를 기반으로 보상을 계산한다.
• 훈련 안정성과 샘플 효율성을 향상하기 위해 커리큘럼 학습을 적용한 프록시 정책 최적화(PPO)를 적용한다.
• 65,000개의 다양한 RNA 설계 과제에서 훈련하여, 새로운, 알려지지 않은 목표에 대해 일반화 가능한 단일 정책을 학습함으로써 메타학습을 구현한다.
• 신경망 아키텍처 탐색(NAS)을 수행하여 정책 네트워크의 아키텍처(예: 컨볼루션 및 순환층 포함), 하이퍼파라미터, 상태 표현을 동시에 최적화한다.
• 서열 생성 후 局부 적응(예: 돌연변이 기반 정밀 조정)을 적용하여 최종 구조 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습이 RNA 역접힘 문제에 효과적으로 적용되어 원하는 2차 구조로 접히는 서열을 생성할 수 있는가?
• RQ2 수천 개의 RNA 설계 과제에 걸쳐 메타학습을 수행하면, 한 번의 시도로도 새로운 RNA 설계 문제를 고도로 성공적으로 해결할 수 있는 일반화 가능한 정책을 생성할 수 있는가?
• RQ3 신경망 아키텍처, 하이퍼파라미터, 상태 표현을 동시에 최적화하면 고정되거나 수동으로 조정된 설계에 비해 성능이 뛰어나지는가?
• RQ4 기존 최신 기술 수준의 RNA 설계 알고리즘과 비교해, 기존 벤치마크에서 정확도와 속도 측면에서 어떻게 성능을 냈는가?
• RQ5 명시적인 훈련/검증/테스트 분할을 포함한 새로운 벤치마크는 RNA 설계 평가의 재현 가능성과 공정성 향상에 기여하는가?

주요 결과

• Meta-LEARNA는 Rfam-Taneda 및 Eterna100 벤치마크에서 새로운 최신 기술 수준 성능를 달성했으며, 각각 50회 시도 이내에 24/29개, 19/50개의 구조를 해결했다.
• LEARNA와 Meta-LEARNA는 Eterna100 및 Rfam-Taneda 벤치마크에서 MCTS-RNA 및 RL-LS에 비해 이전 최고 성능에 도달하는 데 63배에서 1,765배 더 빠르게 성능을 달성했다.
• 제거 실험 결과에 따르면, 아키텍처, 하이퍼파라미터, 상태 표현의 동시 최적화가 필수적임을 확인했으며, 구성 요소를 고정할 경우 성능가 급격히 저하됨을 확인했다.
• Meta-LEARNA는 알려지지 않은 RNA 구조로도 잘 일반화되어, Eterna100 테스트 세트에서 19/50개의 구조를 단일 샘플로 50%의 경우에 성공적으로 해결했다.
• 명시적인 훈련/검증/테스트 분할을 포함한 새로운 벤치마크는 이전 RNA 설계 문헌에서의 핵심 한계를 해결하며 공정하고 재현 가능한 평가를 가능하게 했다.
• antaRNA, RNAInverse, MCTS-RNA와 같은 강력한 베이스라인과 비교해 모든 지표에서 성능이 뛰어나며, 높은 성공률과 더 빠른 수렴 속도를 보였다.