[论文解读] Incorporating Prior Knowledge in Deep Learning Models via Pathway Activity Autoencoders

Pedro Avelar, Min Wu+1 more|arXiv (Cornell University)|Jun 9, 2023

RNA and protein synthesis mechanismsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出路径活性自编码器（PAAE）及其生成变体PAVAE，将生物通路知识整合到深度自编码器中，用于RNA-seq数据，以提升癌症预后预测的可解释性与性能。通过利用已知通路约束潜在空间，该模型即使在输入特征较少的情况下，也能实现更优的重构与分类准确率，优于标准自编码器和VAE，同时可直接对学习到的表征进行生物学解释。

ABSTRACT

Motivation: Despite advances in the computational analysis of high-throughput molecular profiling assays (e.g. transcriptomics), a dichotomy exists between methods that are simple and interpretable, and ones that are complex but with lower degree of interpretability. Furthermore, very few methods deal with trying to translate interpretability in biologically relevant terms, such as known pathway cascades. Biological pathways reflecting signalling events or metabolic conversions are Small improvements or modifications of existing algorithms will generally not be suitable, unless novel biological results have been predicted and verified. Determining which pathways are implicated in disease and incorporating such pathway data as prior knowledge may enhance predictive modelling and personalised strategies for diagnosis, treatment and prevention of disease. Results: We propose a novel prior-knowledge-based deep auto-encoding framework, PAAE, together with its accompanying generative variant, PAVAE, for RNA-seq data in cancer. Through comprehensive comparisons among various learning models, we show that, despite having access to a smaller set of features, our PAAE and PAVAE models achieve better out-of-set reconstruction results compared to common methodologies. Furthermore, we compare our model with equivalent baselines on a classification task and show that they achieve better results than models which have access to the full input gene set. Another result is that using vanilla variational frameworks might negatively impact both reconstruction outputs as well as classification performance. Finally, our work directly contributes by providing comprehensive interpretability analyses on our models on top of improving prognostication for translational medicine.

研究动机与目标

• 通过整合具有生物意义的先验知识，解决深度学习模型在高通量组学数据中可解释性不足的问题。
• 利用通路导向的自编码器，学习可直接用生物学术语解释的潜在表征，以改善患者分层与生存预测。
• 评估将通路信息作为结构归纳偏差是否能提升重构与分类性能，相较于标准自编码器与VAE。
• 证明基于通路活性的表征在独立数据集（如TCGA与METABRIC）中具有一致性，并对下游任务（如分类与生存分析）具有信息量。
• 提供一个框架，使临床医生与研究人员能够通过已知生物通路解释模型输出，支持转化医学研究。

提出的方法

• 提出一种非生成性自编码器框架PAAE，利用已知生物通路作为结构归纳偏差，以约束潜在空间。
• 将通路活性向量定义为样本在预定义通路中的激活水平，使用基因集富集评分计算其值。
• 训练自编码器仅使用通路活性向量作为潜在表征来重构输入基因表达数据，从而强制实现生物学可解释性。
• 将PAAE扩展为生成变体PAVAE，采用变分推断以支持从学习到的潜在空间采样，并提升鲁棒性。
• 在PAVAE中应用重参数化技巧，使反向传播能够通过通路活性采样过程，实现端到端训练。
• 使用UMAP与余弦距离可视化分析学习到的通路活性空间的拓扑结构，并评估类别可分性。

实验结果

研究问题

• RQ1 将已知生物通路作为归纳偏差是否能提升自编码器在RNA-seq数据上的重构性能？
• RQ2 使用基于通路活性的潜在表征是否能带来优于使用完整基因集的模型的分类性能？
• RQ3 PAAE与PAVAE在重构与分类准确率方面，相较于标准自编码器与VAE表现如何？
• RQ4 学习到的通路活性在独立数据集（如TCGA与METABRIC）中的一致性程度如何？
• RQ5 模型的潜在空间在已知与癌症亚型相关的生物通路上是否具有可解释性？

主要发现

• 尽管仅使用通路活性特征而非完整基因集，PAAE与PAVAE在测试集上的重构性能仍优于标准自编码器与VAE。
• 在分类任务中，模型即使在基线模型可访问全部输入基因的情况下，仍表现更优，证明先验知识在表征学习中的价值。
• 原始VAE在重构与分类任务中的表现均劣于PAAE与PAVAE，表明标准变分框架可能并非通路导向学习的最优选择。
• 在训练集中与疾病亚型互信息最高的32条通路，在测试集中同样具有最强的判别性，表明特征学习具有一致性与鲁棒性。
• 使用UMAP与特征图对通路活性空间的可视化显示，按临床表型（如BRCA亚型）呈现清晰聚类，证实学习到的表征具有生物学相关性。
• 可解释性分析显示，如P53信号通路、错配修复通路以及缬氨酸-亮氨酸-异亮氨酸降解通路等个体通路在癌症分类背景下具有高度判别性与生物学合理性。