[论文解读] Deep learning in bioinformatics: introduction, application, and perspective in big data era

Yu Li, Chao Huang+4 more|arXiv (Cornell University)|Feb 28, 2019

Machine Learning in Bioinformatics参考文献 198被引用 4

一句话总结

本综述介绍了生物信息学中的深度学习，提供了卷积神经网络（CNNs）、循环神经网络（RNNs）、图神经网络（GNNs）、生成对抗网络（GANs）和变分自编码器（VAEs）等关键架构的易懂概述，并在五个生物信息学领域和四种数据类型中提供了基于TensorFlow/Keras的实用实现。文章解决了过拟合和可解释性等挑战，代码公开可用，将深度学习定位为驱动大数据生物学研究的关键工具。

ABSTRACT

Deep learning, which is especially formidable in handling big data, has achieved great success in various fields, including bioinformatics. With the advances of the big data era in biology, it is foreseeable that deep learning will become increasingly important in the field and will be incorporated in vast majorities of analysis pipelines. In this review, we provide both the exoteric introduction of deep learning, and concrete examples and implementations of its representative applications in bioinformatics. We start from the recent achievements of deep learning in the bioinformatics field, pointing out the problems which are suitable to use deep learning. After that, we introduce deep learning in an easy-to-understand fashion, from shallow neural networks to legendary convolutional neural networks, legendary recurrent neural networks, graph neural networks, generative adversarial networks, variational autoencoder, and the most recent state-of-the-art architectures. After that, we provide eight examples, covering five bioinformatics research directions and all the four kinds of data type, with the implementation written in Tensorflow and Keras. Finally, we discuss the common issues, such as overfitting and interpretability, that users will encounter when adopting deep learning methods and provide corresponding suggestions. The implementations are freely available at \url{https://github.com/lykaust15/Deep_learning_examples}.

研究动机与目标

• 为不熟悉神经网络的生物信息学研究人员提供一份全面且易于理解的深度学习入门指南。
• 展示深度学习在多种生物信息学领域（包括序列分析、结构预测和生物分子功能预测）的实际应用。
• 针对采用深度学习时常见的挑战（如过拟合、可解释性及计算需求）提出切实可行的解决方案。
• 提供八种代表性应用场景的开源、可复现的TensorFlow和Keras实现，以加速方法的采纳。
• 将深度学习定位为应对生物大数据日益增长的复杂性与规模的变革性工具。

提出的方法

• 从浅层神经网络开始介绍深度学习基础，逐步过渡到CNNs、RNNs以及生成对抗网络（GANs）和变分自编码器（VAEs）等高级架构。
• 采用分层教育方法：从基础概念到最先进模型，确保非专家也能理解。
• 将深度学习技术应用于五个研究领域：序列分析、结构预测、生物分子性质/功能预测、生物医学成像和系统生物学。
• 在示例中使用四种数据类型：基因组序列、结构数据、组学谱系和医学影像。
• 使用TensorFlow和Keras实现模型，代码托管于GitHub，以确保可复现性和社区共享。
• 提出模型压缩技术——剪枝、知识蒸馏、低秩分解和紧凑滤波器——以降低计算成本和内存占用。

实验结果

研究问题

• RQ1 在生物信息学的关键问题（如序列变异预测和蛋白质结构建模）中，哪些深度学习架构最为有效？
• RQ2 如何使深度学习模型在小样本或噪声较大的生物数据集中更具可解释性并减少过拟合？
• RQ3 在无需从头开始训练的情况下，更新模型以适应新生物数据时，应采取何种策略以缓解灾难性遗忘？
• RQ4 模型压缩技术如何提升深度学习在资源受限的生物医学计算环境中的部署能力？
• RQ5 将深度学习集成到现有生物信息学工作流中的实用、可实施的工作流程是什么？

主要发现

• 深度学习模型，特别是卷积神经网络（CNNs）和循环神经网络（RNNs），在蛋白质二级结构预测、转录因子结合位点检测和DNA变异效应预测等任务中达到最先进性能。
• 生成模型（如VAEs和GANs）在建模复杂生物序列和生成生物上合理但合成的数据方面展现出巨大潜力。
• 图神经网络（GNNs）和消息传递架构能有效建模生物分子相互作用及系统级生物网络。
• 剪枝和知识蒸馏等模型压缩技术显著减小模型尺寸并缩短推理时间，使模型能够在边缘设备和临床环境中部署。
• 将深度学习与贝叶斯推断（如DLBI）结合可提升超分辨率显微成像性能，在不损失精度的前提下加速图像重建。
• 作者证明，迁移学习和持续学习策略可有效缓解灾难性遗忘，使模型在保持对旧数据性能的同时适应新生物知识。