[論文レビュー] Protein Secondary Structure Prediction Using Cascaded Convolutional and Recurrent Neural Networks

Zhen Li, Yizhou Yu|arXiv (Cornell University)|Apr 25, 2016

Machine Learning in Bioinformatics参考文献 33被引用数 105

ひとこと要約

論文は、局所的文脈のための多スケールCNNとグローバル文脈のための積み重ねられた双方向GRUを組み合わせ、8-stateタンパク質二次構造と溶媒可及性を予測するエンドツーエンド深層ネットワーク（DCRNN）を提示し、CB6133、CB513、CASP10、CASP11データセットで最先端の結果を達成します。

ABSTRACT

Protein secondary structure prediction is an important problem in bioinformatics. Inspired by the recent successes of deep neural networks, in this paper, we propose an end-to-end deep network that predicts protein secondary structures from integrated local and global contextual features. Our deep architecture leverages convolutional neural networks with different kernel sizes to extract multiscale local contextual features. In addition, considering long-range dependencies existing in amino acid sequences, we set up a bidirectional neural network consisting of gated recurrent unit to capture global contextual features. Furthermore, multi-task learning is utilized to predict secondary structure labels and amino-acid solvent accessibility simultaneously. Our proposed deep network demonstrates its effectiveness by achieving state-of-the-art performance, i.e., 69.7% Q8 accuracy on the public benchmark CB513, 76.9% Q8 accuracy on CASP10 and 73.1% Q8 accuracy on CASP11. Our model and results are publicly available.

研究の動機と目的

• 深層学習を用いて局所とグローバルな配列文脈を統合することでタンパク質二次構造予測を動機づけ、解決する。
• 多ウィンドウサイズで局所的特徴を捉えるための多スケールCNNを活用する。
• タンパク質配列の長距離依存性をモデル化するために積み重ねられた双方向GRUを活用する。
• 二次構造と溶媒可及性を同時に予測するマルチタスク学習を実施する。
• 公開ベンチマークCB6133、CB513、CASP10、CASP11で最先端の性能を示す。

提案手法

• 埋め込み層を介して疎なアミノ酸配列特徴を密な表現に埋め込む。
• 埋め込み配列特徴をPSI-BLAST由来のプロファイル特徴と連結する。
• カーネルサイズ3，7，11の多スケールCNNを適用して局所的文脈を抽出する（各チャネルは64）。
• 連結した局所文脈を3つの積み重ねられた双方向GRU層（各600隠れ層）にドロップアウトとともに入力する。
• CNNとBGRUの出力を連結し、ReLU活性化を持つ2つの完全結合層を通す。
• 8状態二次構造と4状態溶媒可及性を予測するマルチタスク損失で訓練し、L2正則化とドロップアウトを用いる。Adamオプティマイザを使用し、堅牢性のために10モデルのバギングアンサンブルを採用する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層アーキテクチャは、局所とグローバル文脈特徴を効果的に統合して8-state二次構造予測を改善できるか。
• RQ2 多スケールCNNと積み重ねられた双方向GRUは、標準ベンチマークで従来法を上回るか。
• RQ3 二次構造と溶媒可及性のマルチタスク学習はさらなる精度向上をもたらすか。
• RQ4 CB6133、CB513、CASP10、CASP11データセット全体でモデルはどの程度一般化するか。

主な発見

• CB6133トレーニングで、単一モデルは73.2%のQ8精度（最先端）とテストセットで76.1%の溶媒可及性を達成。
• アンサンブル（10モデルのバギング）によりCB513でQ8が69.7%に上昇し、有意なp値とともに従来手法を上回る。
• CB513では単一モデルが69.4%のQ8精度を達成し、DeepCNFなどのベースラインを上回る；アンサンブルは堅牢性を向上。
• CASP10とCASP11では、モデルはそれぞれ76.9%のQ8（CASP10）と73.1%のQ8（CASP11）を達成；単一モデルでそれぞれ87.8%と85.3%のQ3を達成。
• アブレーションにより、積み重ねられたBGRUと局所およびグローバル文脈の統合が性能の決定要因であり、埋め込み、多スケールCNN、後向きパス、または素のRNNを使用しない場合は結果が低下することが示された。
• モデルは強い一般化性能を示し、多様なベンチマークで複数の既存法を上回る。