[论文解读] Convolutional Kitchen Sinks for Transcription Factor Binding Site Prediction

Alyssa Morrow, Vaishaal Shankar+4 more|arXiv (Cornell University)|May 31, 2017

Genomics and Chromatin Dynamics参考文献 9被引用 14

一句话总结

本文提出了卷积神经灶（Convolutional Kitchen Sinks, CKS），一种快速且准确的转录因子结合位点预测方法，该方法利用单层卷积网络生成的独立同分布高斯权重随机特征图，随后进行线性分类。在六组ENCODE数据集中的五组上，CKS的表现优于当前最先进的深度学习模型，且训练时间不足其1/8。

ABSTRACT

We present a simple and efficient method for prediction of transcription factor binding sites from DNA sequence. Our method computes a random approximation of a convolutional kernel feature map from DNA sequence and then learns a linear model from the approximated feature map. Our method outperforms state-of-the-art deep learning methods on five out of six test datasets from the ENCODE consortium, while training in less than one eighth the time.

研究动机与目标

• 开发一种计算高效且准确的转录因子结合位点预测方法，用于从DNA序列中预测结合位点。
• 克服传统字符串核方法的高计算成本和训练复杂性，后者随数据集规模呈O(n²)增长。
• 通过减少训练时间，同时保持或提升预测性能，改进类似DeepBind的深度学习模型。
• 为TF结合位点预测提供一种简单、可扩展的替代方案，无需大量超参数调优，替代复杂的CNN架构。
• 通过从随机特征投影中学习稳健的序列表征，实现在不同细胞环境下的泛化能力。

提出的方法

• 该方法使用单层随机卷积神经网络，其权重为从N(0, γIₙ)独立同分布抽取的高斯分布，用于从DNA序列生成特征图。
• 每个卷积核与输入序列进行卷积，输出通过带有随机相位偏移（从U(0, 2π)中采样）的余弦激活函数处理。
• 最终的特征表示通过将所有卷积核的余弦变换输出进行平均获得，再乘以缩放因子√(2/M)，其中M为卷积核数量。
• 在生成的随机特征图上训练带有L2正则化的线性分类器，以解决区分结合与非结合TF位点的二分类任务。
• 核近似基于卷积n-gram核，该核通过高斯加权汉明距离度量子序列之间的相似性。
• 该方法受到Rahimi与Recht（2009）提出的随机灶（random kitchen sinks）启发，此处将其适配于序列数据中的卷积结构。

实验结果

研究问题

• RQ1 与深度学习模型相比，使用固定随机权重的随机化单层卷积网络能否在TF结合位点预测任务中达到具有竞争力的性能？
• RQ2 所提出的方法是否能在保持或提升预测准确性的前提下，显著缩短大规模基因组数据集的训练时间？
• RQ3 CKS在不同转录因子与细胞类型组合下的表现，与当前最先进的深度学习模型（如DeepBind）相比如何？
• RQ4 该方法在无需微调的情况下，其在不同细胞环境中的泛化能力有多强？
• RQ5 在卷积设置中，随机特征投影在多大程度上能保持空间不变性与序列特异性，从而实现准确的TF结合位点预测？

主要发现

• 在ENCODE联盟提供的六组测试数据集中的五组上，CKS在AUC指标上优于DeepBind，且在所有数据集中表现均具有竞争力或更优。
• 在K562细胞系中训练的EGR1数据集上，CKS的AUC达到0.96，优于DeepBind的0.91，训练时间分别为712秒与6497秒。
• CKS的训练时间不足DeepBind的1/8，最大数据集（72,996个序列）的训练速度提升约8.5倍。
• 在小型测试集（1000个序列）和大型ENCODE测试集（100,000个序列）上，CKS的AUC均达到与DeepBind相当或更优的水平。
• CKS在不同细胞类型间表现出强大的泛化能力，例如在H1-hESC和HepG2细胞中对ATF3的AUC达到0.94–0.95，在HeLa-S3和K562细胞中对CEBPB的AUC高达0.99。
• 尽管采用固定架构且未对n（卷积核大小）和M（卷积核数量）进行超参数调优，CKS在多种转录因子和细胞系中均保持了稳定一致的性能。