[论文解读] Incorporating Biological Knowledge with Factor Graph Neural Network for Interpretable Deep Learning

Tianle Ma, Aidong Zhang|arXiv (Cornell University)|Jun 3, 2019

Bioinformatics and Genomic Networks参考文献 19被引用 11

一句话总结

本文提出因子图神经网络（FGNN），一种可解释的深度学习模型，通过因子图将基因本体（Gene Ontology）知识整合到模型架构中，实现透明且具有生物学意义的表征。通过随机深度展开模型并引入注意力机制以捕捉多尺度交互，FGNN 在癌症基因组数据集上实现了最先进性能，同时识别出与临床结局相关的关键基因本体术语。

ABSTRACT

While deep learning has achieved great success in many fields, one common criticism about deep learning is its lack of interpretability. In most cases, the hidden units in a deep neural network do not have a clear semantic meaning or correspond to any physical entities. However, model interpretability and explainability are crucial in many biomedical applications. To address this challenge, we developed the Factor Graph Neural Network model that is interpretable and predictable by combining probabilistic graphical models with deep learning. We directly encode biological knowledge such as Gene Ontology as a factor graph into the model architecture, making the model transparent and interpretable. Furthermore, we devised an attention mechanism that can capture multi-scale hierarchical interactions among biological entities such as genes and Gene Ontology terms. With parameter sharing mechanism, the unrolled Factor Graph Neural Network model can be trained with stochastic depth and generalize well. We applied our model to two cancer genomic datasets to predict target clinical variables and achieved better results than other traditional machine learning and deep learning models. Our model can also be used for gene set enrichment analysis and selecting Gene Ontology terms that are important to target clinical variables.

研究动机与目标

• 解决深度学习模型在生物医学应用中可解释性不足的问题，其中隐藏单元缺乏语义意义。
• 通过将生物知识作为归纳偏置，提升在‘大p小n’生物医学问题中的模型泛化能力。
• 构建一个既高度表达又可解释的深度学习框架，通过将领域特定知识直接嵌入模型架构实现。
• 通过可学习的注意力权重和分类器权重，实现对与临床变量相关的生物相关基因本体术语的识别。

提出的方法

• 模型使用因子图结构表示生物知识，其中节点对应基因或基因本体（GO）术语，边表示生物关系。
• FGNN 被展开为具有层间权重共享的深层前馈架构，支持通过随机深度进行训练，提升泛化能力。
• 引入注意力机制以捕捉基因与GO术语之间的分层、多尺度交互，使模型能够聚焦于相关生物通路。
• 通过层间参数共享降低模型复杂度，同时保持表达能力，使模型在数据有限时仍可训练。
• 最后一层为线性分类器，其权重用于识别最具预测力的GO术语，实现可解释性并支持基因集富集分析。
• 模型通过反向传播端到端训练，因子图结构作为归纳偏置，引导表征学习。

实验结果

研究问题

• RQ1 将基因本体作为结构化归纳偏置是否能提升深度学习模型在基因组学中的可解释性与性能？
• RQ2 FGNN中的注意力机制如何以多尺度方式捕捉基因与GO术语之间的分层关系？
• RQ3 FGNN在从基因组数据预测临床变量方面，相较于传统与深度学习基线模型，性能提升程度如何？
• RQ4 最终分类器中的学习权重是否能识别出与疾病状态相关的生物相关GO术语？
• RQ5 随机化GO结构是否会导致模型性能下降，从而验证生物知识在模型架构中的重要性？

主要发现

• FGNN在肺癌和肾癌数据集上分别取得0.566和0.563的最高F1分数，优于随机森林、MLP、GCN和原型网络。
• 将基于GO的因子图结构随机化后，F1分数分别降至0.539（肺癌）和0.532（肾癌），表明生物知识对性能至关重要。
• 在肾癌数据集中，FGNN与MLP在区分肿瘤与正常样本方面均达到98%准确率，但仅FGNN通过学习到的GO术语权重提供了可解释的特征重要性。
• 训练完成后，仅有少量GO术语（如GO:0030574，C型甘露糖受体2）具有高绝对权重，表明其与肿瘤状态强相关。
• 绝对权重最高的前10个GO术语经领域专家确认与肾癌具有生物学相关性，验证了模型的可解释性。
• 注意力机制使模型能够学习基因与GO术语之间有意义的分层关系，增强了捕捉复杂生物互作的能力。