[論文レビュー] MUST-CNN: A Multilayer Shift-and-Stitch Deep Convolutional Architecture for Sequence-based Protein Structure Prediction

Zeming Lin, Jack Lanchantin+1 more|arXiv (Cornell University)|May 10, 2016

Protein Structure and Dynamics参考文献 28被引用数 16

ひとこと要約

MUST-CNNは、アミノ酸配列からエンドツーエンドで、位置ごとのタンパク質性状予測を実現する、新しい多層シフトアンドステッチ畳み込みニューラルネットワークを提案する。階層的なシフトアンドステッチ操作により、ポーリングに起因する解像度の損失がなく、高解像度で効率的な密予測を可能にすることで、従来手法よりも高速な推論とより単純なアーキテクチャを実現しながら、二次構造および溶媒可及性予測において最先端の性能を達成した。

ABSTRACT

Predicting protein properties such as solvent accessibility and secondary structure from its primary amino acid sequence is an important task in bioinformatics. Recently, a few deep learning models have surpassed the traditional window based multilayer perceptron. Taking inspiration from the image classification domain we propose a deep convolutional neural network architecture, MUST-CNN, to predict protein properties. This architecture uses a novel multilayer shift-and-stitch (MUST) technique to generate fully dense per-position predictions on protein sequences. Our model is significantly simpler than the state-of-the-art, yet achieves better results. By combining MUST and the efficient convolution operation, we can consider far more parameters while retaining very fast prediction speeds. We beat the state-of-the-art performance on two large protein property prediction datasets.

研究の動機と目的

• 一次アミノ酸配列から二次構造や溶媒可及性などのタンパク質性状を直接予測できる深層学習モデルの開発を目的とする。
• 窓ベースの多層パーセプトロン（MLP）モデルの制限、例えば学習が遅いことや受容野が制限されることを克服することを目的とする。
• 計算的に効率的な畳み込みアーキテクチャを用いて、全タンパク質配列にわたる高解像度の位置ごとのラベル付けを可能にすることを目的とする。
• スライディングウィンドウ推論の必要性を排除するために、高いモデル容量と高速性を維持する新しいシフトアンドステッチ技術を導入することを目的とする。
• 多様な生物学的およびNLPタスクに適用可能な汎用的でエンドツーエンドのフレームワークを確立することを目的とする。

提案手法

• ポーリングに起因する解像度損失が生じない全配列にわたる高解像度の密予測を可能にするために、マルチレイヤー・シフトアンドステッチ（MUST）技術を導入する。
• パラメータ共有を用いた階層的な畳み込み層を適用し、タンパク質配列内の長距離相関を捉える。
• スライディングウィンドウの繰り返し前方伝搬を回避するため、すべての可能な位置のスコアを同時に計算するシフトアンドステッチ機構を採用する。
• 全長配列でのエンドツーエンド学習を実施し、モデルがグローバルな文脈とローカルなパターンを同時に学習できるようにする。
• 効率的な畳み込み演算とMUST技術を組み合わせることで、モデル容量を拡大しながらも、高速な推論速度を維持する。
• 異なるデータセットに適応的にドロップアウト正則化を適用することで、アーキテクチャの変更なしに汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来の窓ベースのMLPモデルと比較して、深層畳み込みニューラルネットワークがタンパク質性状予測で優れた性能を達成できるか？
• RQ2 シフトアンドステッチ技術により、長大なタンパク質配列に対して計算的に効率的に高解像度の位置ごとのラベル付けが可能になるか？
• RQ3 全配列でのエンドツーエンド学習が、局所的ウィンドウと特徴工学に依存するモデルを上回る性能を発揮するか？
• RQ4 GSN、LSTM、CNFなどの既存の最先端モデルと比較して、MUST-CNNのモデル容量と推論速度はどのように異なるか？
• RQ5 同一のアーキテクチャが、最小限のハイパーパrameterチューニングで複数のタンパク質性状予測タスクに一般化可能か？

主な発見

• CB513データセットにおける3クラス二次構造（Q3）タスクで、MUST-CNNは89.6%の正解率を達成し、以前の最先端手法を上回った。
• CullPDBデータセットでは、MUST-CNNは68.4%のQ8正解率を達成し、LSTMモデルによる以前の最高記録67.4%を上回った。
• 100万個のアミノ酸を2秒未満で予測可能であり、高いモデル容量にもかかわらず、優れた推論速度を示した。
• 4protデータセットでは、以前の最高公表結果よりもQ3正解率で1%の向上を達成したが、アーキテクチャは著しく単純化されていた。
• ドロップアウトのハイパーパrameter調整のみで、異なるタンパク質性状予測タスクにおいて一貫した性能を示し、良好な一般化性能を示した。
• シフトアンドステッチ機構により、速度を損なわずに高解像度の予測が可能となり、ウィンドウベース手法よりも長距離相関をより効果的に学習できるようになった。