[论文解读] Is Transfer Learning Necessary for Protein Landscape Prediction?

Amir Shanehsazzadeh, David Belanger+1 more|arXiv (Cornell University)|Oct 31, 2020

Machine Learning in Bioinformatics参考文献 17被引用 33

一句话总结

这篇论文表明，在完整的独热编码蛋白质表示上训练的的小型监督 CNN 模型可以匹配或超过半监督、预训练模型在荧光和稳定性景观预测任务上的表现，表明在这些蛋白质景观基准测试中并不总是需要迁移学习。

ABSTRACT

Recently, there has been great interest in learning how to best represent proteins, specifically with fixed-length embeddings. Deep learning has become a popular tool for protein representation learning as a model's hidden layers produce potentially useful vector embeddings. TAPE introduced a number of benchmark tasks and showed that semi-supervised learning, via pretraining language models on a large protein corpus, improved performance on downstream tasks. Two of the tasks (fluorescence prediction and stability prediction) involve learning fitness landscapes. In this paper, we show that CNN models trained solely using supervised learning both compete with and sometimes outperform the best models from TAPE that leverage expensive pretraining on large protein datasets. These CNN models are sufficiently simple and small that they can be trained using a Google Colab notebook. We also find for the fluorescence task that linear regression outperforms our models and the TAPE models. The benchmarking tasks proposed by TAPE are excellent measures of a model's ability to predict protein function and should be used going forward. However, we believe it is important to add baselines from simple models to put the performance of the semi-supervised models that have been reported so far into perspective.

研究动机与目标

• 评估仅有监督的模型在蛋白质景观预测任务中是否能够与基于迁移学习的方法竞争。
• 在荧光和稳定性基准测试中，将小型基于 CNN 的编码器与 TAPE 风格的预训练模型进行比较。
• 评估线性模型在这些任务上的表现，并识别在何时预训练模型具有真正的优势。

提出的方法

• 使用不同深度的一维卷积神经网络（1-D CNN）作为蛋白质序列编码器。
• 通过池化（MeanPool、MaxPool、LinearMaxPool）或可学习的密集映射创建定长嵌入。
• 在GFP荧光、稳定性和β-内酰胺酶变体数据集上，使用Adam、MSE损失和标准填充技巧训练模型。
• 在可用时与TAPE基线（预训练和非预训练）以及CPCProt/ESM进行比较。
• 对稳定性和β-内酰胺酶任务进行 CNN 集成，以评估跨折的方差。

实验结果

研究问题

• RQ1 在荧光和稳定性景观任务上，使用完整的一热编码训练的小型监督 CNN 是否能达到与半监督预训练模型相当的性能？
• RQ2 简单基线（如对一热编码的线性回归）相对于基于CNN的方法和预训练方法的表现如何？
• RQ3 数据量对β-内酰胺酶变体预测中预训练变换器相对于监督CNN的相对表现有何影响？
• RQ4 CNN集成是否在所有景观任务中为相对于单个模型提供稳健的优势？
• RQ5 TAPE 基准任务是否为未来的蛋白质功能预测建模提供有价值的基线？

主要发现

• 仅用带标签数据训练的监督 CNN 可以在荧光和稳定性景观上与 TAPE 模型竞争甚至超越。
• 在完整的一热编码上进行线性回归在荧光预测上可以超过许多复杂模型。
• CNN 集成可以提升稳定性预测性能，在若干指标上优于 TAPE 和 CPCProt 基线。
• 在β-内酰胺酶变体预测方面，具有足够数据的监督CNN可与预训练的ESM变换器相比拟，尽管在数据受限时预训练模型具有优势。
• 预训练的好处在监督数据稀缺时最为明显；在数据充足时，监督CNN 也可以具有竞争力或更优。