[論文レビュー] Is Transfer Learning Necessary for Protein Landscape Prediction?

Amir Shanehsazzadeh, David Belanger+1 more|arXiv (Cornell University)|Oct 31, 2020

Machine Learning in Bioinformatics参考文献 17被引用数 33

ひとこと要約

本論文は、全てのワンホット蛋白質エンコーディングで訓練された小型の監視CNNモデルが、蛍光性と安定性のランドスケープ予測タスクにおいて半監視・事前学習済みモデルと同等かそれ以上を達成できることを示しており、これらのタンパク質ランドスケープのベンチマークには転移学習が必ずしも必要でないことを示唆している。

ABSTRACT

Recently, there has been great interest in learning how to best represent proteins, specifically with fixed-length embeddings. Deep learning has become a popular tool for protein representation learning as a model's hidden layers produce potentially useful vector embeddings. TAPE introduced a number of benchmark tasks and showed that semi-supervised learning, via pretraining language models on a large protein corpus, improved performance on downstream tasks. Two of the tasks (fluorescence prediction and stability prediction) involve learning fitness landscapes. In this paper, we show that CNN models trained solely using supervised learning both compete with and sometimes outperform the best models from TAPE that leverage expensive pretraining on large protein datasets. These CNN models are sufficiently simple and small that they can be trained using a Google Colab notebook. We also find for the fluorescence task that linear regression outperforms our models and the TAPE models. The benchmarking tasks proposed by TAPE are excellent measures of a model's ability to predict protein function and should be used going forward. However, we believe it is important to add baselines from simple models to put the performance of the semi-supervised models that have been reported so far into perspective.

研究の動機と目的

• タンパク質ランドスケープ予測タスクにおいて、純粋に監督付きモデルが転移学習ベースの手法と対等に競べるかを評価する。
• 蛍光性と安定性のベンチマーク全体で、小型のCNNベースエンコーダとTAPE風の事前学習モデルを比較する。
• これらのタスクに対する線形モデルの性能を評価し、事前学習モデルが実際に有利になる状況を特定する。

提案手法

• 1次元CNNエンコーダを、深さの異なる構成でタンパク質配列のエンコーダとして用いる。
• プーリング（MeanPool、MaxPool、LinearMaxPool）による固定長埋め込みを作成するか、学習可能な密な写像を用いる。
• GFP蛍光、安定性、ベータラクタマーゼ変異体データセット上で、Adam、MSE損失、標準的なパディング手法を用いてモデルを訓練する。
• 利用可能な場合は、TAPEベースライン（事前学習済みおよび非事前学習）とCPCProt/ESMと比較する。
• 安定性およびベータ-ラクタマーゼタスクのためにCNNのアンサンブルを用いて、折りたたみごとの分散を評価する。

実験結果

リサーチクエスチョン

• RQ1 全てのワンホットエンコーディングで訓練された小型の監督付きCNNが、蛍光性および安定性ランドスケープタスクにおいて半監視・事前学習済みモデルと同等の性能を達成できるか？
• RQ2 ワンホットエンコーディング上の線形回帰などの単純なベースラインは、CNNベースおよび事前学習済み手法と比べてどうであるか？
• RQ3 ベータ-ラクタマーゼ変異体予測における、事前学習済みトランスフォーマーと監督付きCNNの相対性能に対するデータ量の影響は？
• RQ4 CNNのアンサンブルは、ランドスケープタスク全般で個別モデルより堅牢な優位性を提供するか？
• RQ5 TAPEベンチマークタスクは将来のタンパク質機能予測モデルにとって有用なベースラインとなるか？

主な発見

• ラベル付きデータだけで訓練された監督付きCNNは、蛍光性および安定性ランドスケープでTAPEモデルと競合するか、またはそれを上回ることができる。
• 全ワンホットエンコーディング上の線形回帰は、蛍光予測の多くの複雑なモデルを上回ることがある。
• CNNアンサンブルは安定性予測性能を向上させ、いくつかの指標でTAPEおよびCPCProtのベースラインを上回ることがある。
• ベータ-ラクタマーゼ変異体予測では、十分なデータを持つ監督付きCNNが事前学習済みESMトランスフォーマーと肩を並べるが、データが限られる場合は事前学習モデルに利点がある。
• 事前学習の利点は、監督データが乏しい場合に最も顕著であり、十分なデータがある場合には、監督付きCNNが競合的または優れていることがある。