[論文レビュー] Scalable Deep Learning for RNA Secondary Structure Prediction

Jörg K. H. Franke, Frederic Runge+1 more|arXiv (Cornell University)|Jul 14, 2023

RNA and protein synthesis mechanisms被引用数 9

ひとこと要約

RNAformerは潜在空間でRNA塩基対の隣接性をモデル化する洗練された軸方向注意トランスフォーマーで、TS0で最先端の性能を達成し、同一ファミリー内外の予測を通じて基礎的な生物物理的折りたたみモデルの学習を示す。

ABSTRACT

The field of RNA secondary structure prediction has made significant progress with the adoption of deep learning techniques. In this work, we present the RNAformer, a lean deep learning model using axial attention and recycling in the latent space. We gain performance improvements by designing the architecture for modeling the adjacency matrix directly in the latent space and by scaling the size of the model. Our approach achieves state-of-the-art performance on the popular TS0 benchmark dataset and even outperforms methods that use external information. Further, we show experimentally that the RNAformer can learn a biophysical model of the RNA folding process.

研究の動機と目的

• 従来の動的計画法や初期の深層学習法を超えた、新しいRNA二次構造予測（デノボ予測）の改善を動機づける。
• 潜在空間でRNAペア接続隣接行列を直接モデリングする洗練されたアーキテクチャを提案する。
• 外部情報やアンサンブルなしでTS0における最先端性能を実証する。
• Rfam由来データを用いたRNAfoldからのデータを活用して、ファミリ間予測と生物物理的折りたたみモデルの学習能力を調査する。

提案手法

• 潜在RNAペアリング行列の行方向および列方向の依存性をモデル化するために軸方向アテンションを用いる。
• RNA配列を行表現と列表現用の二つの線形埋め込みで埋め込み、これを結合して潜在的隣接表現とする。
• 潜在表現を、行方向・列方向の軸方向アテンションと3x3畳み込みネットワークを備えた複数のTransformer風ブロックを通して処理する。
• 中間パスで勾配を停止する潜在空間のリサイクルを適用し、実質的な深さを高める。
• 損失計算時に隣接行列の未対になっているエントリの50%をマスクすることで塩基対予測のクラス不均衡に対処する。
• AdamW、ウォームアップ＋コサイン減衰、ドロップアウト、プリノーマ、残差接続を用いて学習する。最大32Mパラメータの2次元潜在空間を使用。ファミリー内データ（bpRNA）とファミリー間データ（Rfam-RNAfold）で評価。

実験結果

リサーチクエスチョン

• RQ1 外部情報なしで、洗練された軸方向アテンションアーキテクチャがRNA塩基対隣接性を直接モデリングし、競合力のあるまたは優れたTS0性能を達成できるか。
• RQ2 潜在空間リサイクルはRNA二次構造予測において、より深いモデルを模倣することで性能を改善するか。
• RQ3 RNAformerはファミリー間予測へ一般化し、Rfam由来データで訓練した場合にRNAfoldに似た生物物理的折りたたみモデルを学習できるか。

主な発見

Model	TS0	F1 Score	Solved
RNAformer 32M+ recycling	0.728	0.733	17.2%
RNAformer 32M	0.717	0.727	16.6%
RNAformer 8M	0.708	0.716	14.4%
RNAformer 2M	0.677	0.684	11.4%
RNAformer 0.5M	0.644	0.653	8.7%
RNA-FM	0.667	0.671	10.4%
ProbTransformer	0.625	-	11.8%
SPOT-RNA	0.597	0.597	0.05%
RNAfold	0.492	0.499	0.8%

• RNAformerはTS0で最先端の性能を達成し、最大32Mパラメータのモデルとリサイクルを組み合わせると0.728 TS0、0.733 F1、TS0で解かれた割合は17.2%に達する。
• モデルサイズを増加させると、ファミリー内予測全般で一貫した性能向上が見られ、アーキテクチャからの有益な帰納的バイアスを示唆する。
• リサイクルは非リサイクル型より約1%の性能向上を提供する。
• ファミリー間/Rfam由来データでは、RNAformerの大規模モデルが高いファミリー内相当の精度を達成（Rfam TSでF1は最大0.967、TS-hardで0.651）、TS-hardでRNAfoldと同等または上回る設定もあり、基礎となる生物物理的折りたたみ過程を学習できることを示唆する。
• RNAformerはデータ量とモデル容量の増加に伴いスケールし、モデルサイズが大きくなるにつれてRNAfoldの挙動をより忠実に再現する。