[论文解读] Attention based convolutional neural network for predicting RNA-protein binding sites

Xiaoyong Pan, Junchi Yan|arXiv (Cornell University)|Dec 6, 2017

RNA and protein synthesis mechanismsBiochemistry, Genetics and Molecular Biology参考文献 2被引用 20

一句话总结

该论文提出iDeepA，一种基于注意力机制的卷积神经网络，通过原始RNA序列预测RNA-蛋白质结合位点。通过将1D-CNN与双层次注意力机制（序列维度和特征图维度）相结合，增强了特征学习和基序定位能力，在CLIP-seq基准数据集上实现了0.921的SOTA AUC，尤其在小样本数据集上表现显著提升。

ABSTRACT

RNA-binding proteins (RBPs) play crucial roles in many biological processes, e.g. gene regulation. Computational identification of RBP binding sites on RNAs are urgently needed. In particular, RBPs bind to RNAs by recognizing sequence motifs. Thus, fast locating those motifs on RNA sequences is crucial and time-efficient for determining whether the RNAs interact with the RBPs or not. In this study, we present an attention based convolutional neural network, iDeepA, to predict RNA-protein binding sites from raw RNA sequences. We first encode RNA sequences into one-hot encoding. Next, we design a deep learning model with a convolutional neural network (CNN) and an attention mechanism, which automatically search for important positions, e.g. binding motifs, to learn discriminant high-level features for predicting RBP binding sites. We evaluate iDeepA on publicly gold-standard RBP binding sites derived from CLIP-seq data. The results demonstrate iDeepA achieves comparable performance with other state-of-the-art methods.

研究动机与目标

• 开发一种深度学习模型，能够从原始RNA序列中准确预测RNA-蛋白质结合位点。
• 通过引入注意力机制聚焦于生物相关序列基序，提升模型的可解释性与性能。
• 通过注意力机制增强特征学习，解决现有方法在小规模训练数据集上的局限性。
• 在24种RBP的大规模黄金标准CLIP-seq数据集上对模型进行评估。

提出的方法

• RNA序列被编码为one-hot矩阵，表示核苷酸的存在情况（A、C、G、U）。
• 1D-CNN处理one-hot矩阵，通过卷积、ReLU激活和最大池化操作提取分层特征。
• 应用两种注意力机制：一种作用于序列维度（时间步上），另一种作用于特征图维度（通过转置的隐藏状态）。
• 注意力权重通过前馈网络计算，生成软注意力分数，其中 $ \alpha_t = \frac{\exp(e_t)}{\sum_i \exp(e_i)} $，上下文向量为 $ O = \sum_t h_t \alpha_t $。
• 将CNN输出与两个注意力层的输出拼接，并通过两个具有Sigmoid激活函数的全连接层进行二分类。
• 模型训练使用分类交叉熵损失，采用RMSProp优化器，共训练30个周期。

实验结果

研究问题

• RQ1 与标准CNN相比，注意力增强的CNN是否能更有效地识别生物相关的RNA-蛋白质结合基序？
• RQ2 注意力机制是否能提升在训练数据有限的RBP上的性能表现？
• RQ3 在多样化RBP上，iDeepA与DeepBind和GraphProt等SOTA方法相比，AUC表现如何？
• RQ4 注意力机制是否能实现对RNA序列中功能重要亚序列的定位，以提升模型可解释性？

主要发现

• iDeepA在24种RBP实验中平均AUC达到0.921，性能与DeepBind相当，优于GraphProt（0.887）和deepnet-rbp（0.902）。
• 在仅含4,000个训练样本的RBP C17ORF85上，iDeepA的AUC达到0.839，较DeepBind的0.755提升11%。
• 注意力机制提升了小样本数据集上的学习效率，表明其具有更好的泛化能力并能聚焦于关键基序。
• MILCNN性能较差，原因在于将序列分割为固定长度子序列可能破坏结合位点。
• 该模型与SOTA方法表现相当，表明其在多样化RBP数据集上具有鲁棒性与可扩展性。