[论文解读] Attend and Predict: Understanding Gene Regulation by Selective Attention on Chromatin

Ritambhara Singh, Jack Lanchantin+2 more|arXiv (Cornell University)|Aug 1, 2017

Genomics and Chromatin Dynamics参考文献 18被引用 58

一句话总结

AttentiveChrome 引入了一个基于层次注意力的深度学习模型，该模型从组蛋白修饰信号预测基因表达，并提供可解释的洞见，指示哪些标记和基因组位置在人类多种细胞类型中驱动调控。

ABSTRACT

The past decade has seen a revolution in genomic technologies that enable a flood of genome-wide profiling of chromatin marks. Recent literature tried to understand gene regulation by predicting gene expression from large-scale chromatin measurements. Two fundamental challenges exist for such learning tasks: (1) genome-wide chromatin signals are spatially structured, high-dimensional and highly modular; and (2) the core aim is to understand what are the relevant factors and how they work together? Previous studies either failed to model complex dependencies among input signals or relied on separate feature analysis to explain the decisions. This paper presents an attention-based deep learning approach; we call AttentiveChrome, that uses a unified architecture to model and to interpret dependencies among chromatin factors for controlling gene regulation. AttentiveChrome uses a hierarchy of multiple Long short-term memory (LSTM) modules to encode the input signals and to model how various chromatin marks cooperate automatically. AttentiveChrome trains two levels of attention jointly with the target prediction, enabling it to attend differentially to relevant marks and to locate important positions per mark. We evaluate the model across 56 different cell types (tasks) in human. Not only is the proposed architecture more accurate, but its attention scores also provide a better interpretation than state-of-the-art feature visualization methods such as saliency map. Code and data are shared at www.deepchrome.org

研究动机与目标

• 使用统一的预测模型理解染色质标记在不同细胞类型中如何调控基因表达。
• 对时空结构化的高维染色质信号建模，同时捕捉标记之间的模块化交互。
• 提供可解释的机制，以识别哪些标记和基因组位置会影响基因表达。

提出的方法

• 使用一层层双向 LSTM 的层次结构对每个组蛋白修饰（HM）的箱级信号进行编码。
• 应用箱级软注意力以在每个 HM 标记中识别重要的基因组位点。
• 使用第二个 LSTM（HM-level）来建模 HM 标记之间的交互，并应用 HM-level 软注意力按重要性对标记进行加权。
• 用二元基因表达预测目标（高与低）端到端训练整个体系结构。
• 将 AttentiveChrome 与基线模型（DeepChrome、LSTM、基于 CNN 的模型）进行比较，并通过注意力权重评估可解释性。
• 通过将注意力图与训练中未使用的独立 HM 活动数据相关联来验证可解释性。

实验结果

研究问题

• RQ1 基于注意力的分层模型是否能够联合学习染色质标记及其位置效应之间的依赖关系以预测基因表达？
• RQ2 箱级注意力和 HM-level 注意力是否能够提供生物学上有意义的调控机制解释？
• RQ3 在多种细胞类型中，AttentiveChrome 的性能相对于最先进的基线如何，以及其注意力是否能比基于显著性的方法提供更好的可解释性？

主要发现

• AttentiveChrome 在56种细胞类型上（基于 AUC 的评估）获得比若干基线更高的预测性能。
• 两级注意力（箱级和 HM-level）实现对相关基因组位点和有影响的组蛋白标记的自动识别。
• 注意力权重与独立的活性信号的相关性比显著性图或类别优化可视化更强，支持可解释性。
• 模型通过将每个 HM 视为一个模块并学习它们的交互，证明了对模块化、结构化输入的有效处理。
• 定性分析显示生物学上连贯的模式，例如：活性基因的启动子标记在 TSS 附近集中，抑制子标记对 OFF 基因更具影响力。