[论文解读] Distributed Representations for Biological Sequence Analysis

Dhananjay Kimothi, Akshay Soni+2 more|arXiv (Cornell University)|Aug 21, 2016

Machine Learning in Bioinformatics参考文献 27被引用 55

一句话总结

该论文提出seq2vec，一种通过适配自然语言处理中的神经网络架构（如skip-gram和CBOW）来学习生物序列分布式表示的新方法。在蛋白质序列分类任务中，seq2vec在所有指标上均比SOTA方法ProtVec高出4–6%，证明其在低维向量空间中能更优地捕捉上下文和功能信息。

ABSTRACT

Biological sequence comparison is a key step in inferring the relatedness of various organisms and the functional similarity of their components. Thanks to the Next Generation Sequencing efforts, an abundance of sequence data is now available to be processed for a range of bioinformatics applications. Embedding a biological sequence over a nucleotide or amino acid alphabet in a lower dimensional vector space makes the data more amenable for use by current machine learning tools, provided the quality of embedding is high and it captures the most meaningful information of the original sequences. Motivated by recent advances in the text document embedding literature, we present a new method, called seq2vec, to represent a complete biological sequence in an Euclidean space. The new representation has the potential to capture the contextual information of the original sequence necessary for sequence comparison tasks. We test our embeddings with protein sequence classification and retrieval tasks and demonstrate encouraging outcomes.

研究动机与目标

• 开发一种可扩展的、无需比对的生物序列低维向量空间表示方法，以保留功能和进化关系。
• 通过用学习到的嵌入表示替代传统序列比对方法（如BLAST和动态规划）来解决计算效率低下的问题。
• 通过基于神经网络的表示学习捕捉上下文和结构信息，以提升蛋白质序列分类和检索的性能。
• 评估所提出嵌入表示在真实世界生物信息学任务中的有效性，特别是多类蛋白质家族分类任务。
• 探索学习到的嵌入表示在序列相似性任务中是否能超越或补充现有方法（如ProtVec和BLAST）的潜力。

提出的方法

• 将word2vec中的skip-gram和CBOW架构适配到整个生物序列建模中，生成连续向量表示。
• 通过在蛋白质序列中提取的k-mer（长度为k的子序列）上滑动窗口，在密集向量空间中学习分布式表示。
• 使用随机梯度下降优化嵌入参数，通过基于中心k-mer预测周围k-mer（skip-gram）或基于上下文预测中心k-mer（CBOW）来实现。
• 采用分层Softmax或负采样策略，以提高在大规模生物序列数据集上的训练效率。
• 将训练和测试序列同时嵌入同一向量空间，以支持k-最近邻分类。
• 使用线性SVM结合一对多策略进行多分类，超参数通过网格搜索调优。

实验结果

研究问题

• RQ1 基于神经网络的方法能否学习到有意义的、低维的生物序列表示，以保留其功能和进化关系？
• RQ2 seq2vec在蛋白质序列分类任务中的性能与现有嵌入方法（如ProtVec）相比如何？
• RQ3 学习到的嵌入表示在序列检索和分类任务中，能在多大程度上超越或补充启发式工具（如BLAST）？
• RQ4 seq2vec中的上下文建模能否捕捉到在替代矩阵或比对得分中未显式编码的生物学上有意义的模式？
• RQ5 这些嵌入表示在不同蛋白质家族中序列长度和组成变化下的鲁棒性如何？

主要发现

• 在多类蛋白质家族分类任务中，seq2vec在所有评估指标（精确率、召回率、F1分数）上均比ProtVec高出4–6%的分类准确率。
• 使用seq2vec嵌入的k-NN分类在所有测试的k值下均持续优于基于ProtVec嵌入的分类结果。
• 尽管BLAST作为检索基线表现强劲，seq2vec仍取得了具有竞争力的结果，表明学习到的嵌入能够隐式建模生物相关相似性。
• seq2vec与BLAST之间的性能差距表明，当前嵌入方法在建模进化替代模式方面仍有改进空间。
• 结果表明，seq2vec能有效捕捉蛋白质序列中的上下文和功能信息，从而在下游机器学习任务中实现更好的泛化能力。
• 该方法具有可扩展性和高效性，适用于对齐方法计算成本过高的大规模生物序列分析。