[论文解读] DeepDiff: Deep-learning for predicting Differential gene expression from histone modifications

Arshdeep Sekhon, Ritambhara Singh+1 more|arXiv (Cornell University)|Jul 10, 2018

Genomics and Chromatin Dynamics参考文献 9被引用 3

一句话总结

DeepDiff 引入了一种基于注意力机制的深度学习模型，能够从不同细胞类型的组蛋白修饰信号中预测差异基因表达。通过利用分层LSTM和双层注意力机制，该模型捕捉了组蛋白标记之间的空间依赖性和组合效应，在Roadmap Epigenomics数据上的差异表达预测任务中，显著优于当前最先进方法。

ABSTRACT

Computational methods that predict differential gene expression from histone modification signals are highly desirable for understanding how histone modifications control the functional heterogeneity of cells through influencing differential gene regulation. Recent studies either failed to capture combinatorial effects on differential prediction or primarily only focused on cell type-specific analysis. In this paper, we develop a novel attention-based deep learning architecture, DeepDiff, that provides a unified and end-to-end solution to model and to interpret how dependencies among histone modifications control the differential patterns of gene regulation. DeepDiff uses a hierarchy of multiple Long short-term memory (LSTM) modules to encode the spatial structure of input signals and to model how various histone modifications cooperate automatically. We introduce and train two levels of attention jointly with the target prediction, enabling DeepDiff to attend differentially to relevant modifications and to locate important genome positions for each modification. Additionally, DeepDiff introduces a novel deep-learning based multi-task formulation to use the cell-type-specific gene expression predictions as auxiliary tasks, encouraging richer feature embeddings in our primary task of differential expression prediction. Using data from Roadmap Epigenomics Project (REMC) for ten different pairs of cell types, we show that DeepDiff significantly outperforms the state-of-the-art baselines for differential gene expression prediction. The learned attention weights are validated by observations from previous studies about how epigenetic mechanisms connect to differential gene expression. Codes and results are available at \url{deepchrome.org}

研究动机与目标

• 开发一种统一的、端到端的深度学习框架，用于从不同细胞类型的组蛋白修饰信号中预测差异基因表达。
• 建模多个组蛋白修饰之间的组合相互作用及其在基因组上的空间依赖性。
• 通过将细胞类型特异性基因表达作为辅助任务的多任务学习框架，改进特征表示。
• 通过学习注意力权重来突出相关组蛋白修饰和关键基因组位置，实现可解释性。
• 通过将注意力模式与先前研究中已知的表观遗传机制进行对比，验证模型的生物学相关性。

提出的方法

• 采用长短期记忆（LSTM）网络的层级结构，对以转录起始位点（TSS）为中心的10,000 bp基因组区域内的组蛋白修饰信号的空间结构进行编码。
• 引入两层注意力机制：一层用于关注相关的组蛋白修饰，另一层用于定位每种修饰信号中重要的基因组位置。
• 采用多任务学习框架，将细胞类型特异性基因表达预测作为辅助任务，以丰富主任务——差异表达预测的特征嵌入。
• 应用孪生网络架构并使用对比损失函数，对不同细胞类型之间的表示进行对齐，从而提升泛化能力。
• 采用端到端训练方式，联合优化主回归任务（差异表达）和辅助任务（细胞类型特异性表达的回归或分类）。
• 使用皮尔逊相关系数（PCC）作为主要评估指标，用于与基线模型进行性能比较。

实验结果

研究问题

• RQ1 深度学习模型能否在捕捉组蛋白修饰的组合效应和空间依赖性的同时，有效预测来自全基因组组蛋白修饰信号的差异基因表达？
• RQ2 DeepDiff中的注意力机制如何突出与差异调控相关的生物上相关的组蛋白修饰和基因组区域？
• RQ3 将细胞类型特异性基因表达作为辅助任务，在多大程度上提升了差异表达预测的性能和鲁棒性？
• RQ4 DeepDiff学习到的注意力权重是否与已知的表观遗传机制以及关于组蛋白修饰功能的先前生物学观察一致？
• RQ5 在预测准确性和可解释性方面，DeepDiff与现有最先进方法相比表现如何？

主要发现

• DeepDiff 在Roadmap Epigenomics项目中10对细胞类型的差异基因表达预测任务中，显著优于当前最先进基线模型。
• 当使用基于分类的细胞类型特异性辅助任务时，模型的平均PCC达到179.17，中位PCC达到192.33，优于两层SVR基线模型。
• DeepDiff学习到的注意力权重与已确立的生物学知识一致：H3K4me3在启动子附近被优先关注，H3K4me1在增强子附近被优先关注，H3K27me3在被抑制区域附近被优先关注。
• 通过将细胞类型特异性表达作为辅助任务的多任务学习，显著改善了特征表示，从而提升了预测准确性。
• 分层LSTM架构能有效建模以TSS为中心的10 kb基因组区域内组蛋白修饰信号的长程依赖性。
• 模型的注意力机制成功识别出关键的调控区域和组蛋白修饰，为差异基因调控机制提供了可解释的洞察。