[論文レビュー] Evaluating Protein Transfer Learning with TAPE

Roshan Rao, Nicholas Bhattacharya+6 more|PubMed|Jun 19, 2019

Machine Learning in Bioinformatics参考文献 56被引用数 80

ひとこと要約

本論文はタンパク質配列表現の自己教師付き事前学習を5つの下流タスクでベンチマークし、多くのモデルで効果を示す一方で単独の最適モデルは不在で、整列ベースの特徴が一部の構造タスクで依然強力であることを示している。

ABSTRACT

Machine learning applied to protein sequences is an increasingly popular area of research. Semi-supervised learning for proteins has emerged as an important paradigm due to the high cost of acquiring supervised protein labels, but the current literature is fragmented when it comes to datasets and standardized evaluation techniques. To facilitate progress in this field, we introduce the Tasks Assessing Protein Embeddings (TAPE), a set of five biologically relevant semi-supervised learning tasks spread across different domains of protein biology. We curate tasks into specific training, validation, and test splits to ensure that each task tests biologically relevant generalization that transfers to real-life scenarios. We benchmark a range of approaches to semi-supervised protein representation learning, which span recent work as well as canonical sequence learning techniques. We find that self-supervised pretraining is helpful for almost all models on all tasks, more than doubling performance in some cases. Despite this increase, in several cases features learned by self-supervised pretraining still lag behind features extracted by state-of-the-art non-neural techniques. This gap in performance suggests a huge opportunity for innovative architecture design and improved modeling paradigms that better capture the signal in biological sequences. TAPE will help the machine learning community focus effort on scientifically relevant problems. Toward this end, all data and code used to run these experiments are available at https://github.com/songlab-cal/tape.

研究の動機と目的

• タンパク質表現学習の標準化されたマルチタスクベンチマークの必要性を動機づける。
• 5つの多様で生物学的に関連する下流タスクを用いて、Protein Embeddingsを評価するタスク（TAPE）を作成する。
• 統一データ分割で複数のニューラルアーキテクチャと自己教師付き損失を評価する。
• 自己教師付き事前学習が有効になる場面と、従来の整列特徴が学習表現を上回る領域を定量化する。

提案手法

• 構造予測、進化理解、タンパク質工学にまたがる5つの下流タスクを厳選する。
• ラベルなしのPfam配列を用いて自己教師付き事前学習を行い、next-tokenとmasked-tokenの目的（およびタンパク質特有のバリアント）を適用する。
• 3つのアーキテクチャ（LSTM、Transformer、ResNet）に加え、2つの既存の自己教師付き手法（Bepler、Alley）およびベースライン（one-hot、alignment features）を評価する。
• 標準化された監視付きアーキテクチャで各下流タスクに対して事前学習済み表現をファインチューニングする。
• タスクに適した指標（精度、適合率、Spearmanのρ）を用いて性能を比較し、分布外一般化を分析する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習は複数の下流タスクにおいてタンパク質表現の質を改善するか？
• RQ2 異なるアーキテクチャ（Transformer、LSTM、ResNet）はタスク間で転送性能にどのような差があるか？
• RQ3 整列ベースの特徴は特定の構造関連タスクで学習表現を依然として上回るか？
• RQ4 すべてのタスクで一貫して勝つ単一のモデルがあるか、それともマルチタスクベンチマークが欠かせないか？
• RQ5 事前学習あり/なしが分布外一般化（保持されているファミリー）に与える影響はどのようか？

主な発見

Method	SS	Contact	Homology	Fluorescence	Stability
Transformer No Pretrain	0.70	0.32	0.09	0.22	-0.06
LSTM No Pretrain	0.71	0.19	0.12	0.21	0.28
ResNet No Pretrain	0.70	0.20	0.10	-0.28	0.61
Transformer Pretrain	0.73	0.36	0.21	0.68	0.73
LSTM Pretrain	0.75	0.39	0.26	0.67	0.69
ResNet Pretrain	0.75	0.29	0.17	0.21	0.73
Supervised Bepler LSTM	0.73	0.40	0.17	0.33	0.64
UniRep mLSTM	0.73	0.34	0.23	0.67	0.73
Baseline One-hot	0.69	0.29	0.09	0.14	0.19
Alignment	0.80	0.64	0.09	N/A	N/A

• 自己教師付き事前学習はほとんどすべてのタスクでほとんどすべてのモデルの性能を向上させる。
• アーキテクチャの性能はタスク依存であり、すべてのタスクを支配する単一モデルはない。
• 非深層の整列ベース特徴は二次構造と接触予測タスクで学習表現を上回り、学習表現はリモートホモロジー検出で優れる。
• 蛍光性と安定性タスクでは事前学習済みモデルに顕著な利得が見られるが、いくつかの構造タスクでは整列ベースのシグナルが依然優位な場合がある。
• 結果はTAPEのようなマルチタスクベンチマークの価値と、継続的なアーキテクチャと訓練の改善の必要性を強調する。