[论文解读] DeepGene Transformer: Transformer for the gene expression-based classification of cancer subtypes

Anwar A. Khan, Boreom Lee|arXiv (Cornell University)|Aug 26, 2021

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用 17

一句话总结

DeepGene Transformer 提出了一种基于 Transformer 架构的新型端到端深度学习模型，直接从高维基因表达数据中分类癌症亚型，利用多头自注意力机制识别相关生物标志物，无需事先进行特征选择。该模型在多个癌症数据集上的分类准确率上优于传统方法和当前最先进方法，展示了在分子亚型分类中卓越的性能和鲁棒性。

ABSTRACT

Cancer and its subtypes constitute approximately 30% of all causes of death globally and display a wide range of heterogeneity in terms of clinical and molecular responses to therapy. Molecular subtyping has enabled the use of precision medicine to overcome these challenges and provide significant biological insights to predict prognosis and improve clinical decision-making. Over the past decade, conventional machine learning (ML) and deep learning (DL) algorithms have been widely espoused for the classification of cancer subtypes from gene expression datasets. However, these methods are potentially biased toward the identification of cancer biomarkers. Hence, an end-to-end deep learning approach, DeepGene Transformer, is proposed which addresses the complexity of high-dimensional gene expression with a multi-head self-attention module by identifying relevant biomarkers across multiple cancer subtypes without requiring feature selection as a pre-requisite for the current classification algorithms. Comparative analysis reveals that the proposed DeepGene Transformer outperformed the commonly used traditional and state-of-the-art classification algorithms and can be considered an efficient approach for classifying cancer and its subtypes, indicating that any improvement in deep learning models in computational biologists can be reflected well in this domain as well.

研究动机与目标

• 为解决使用端到端深度学习方法从高维基因表达数据中分类异质性癌症亚型的挑战。
• 通过消除分类流程中显式特征选择的需求，减少对预选生物标志物的偏倚。
• 开发一种模型，通过注意力机制自动识别多种癌症亚型中的相关生物标志物。
• 在癌症分子亚型分类中，提升传统机器学习和深度学习模型的分类性能。
• 展示 Transformer 架构在基因组学应用中的有效性，特别是在精准医学中的应用。

提出的方法

• 该模型采用多头自注意力机制，以捕捉高维基因表达数据中的复杂依赖关系。
• 直接处理原始基因表达谱，无需降维或特征选择。
• 通过位置编码保留基因作为输入标记的顺序。
• 在自注意力层之后应用前馈网络，以优化表示。
• 通过 [CLS] 标记表示的分类头使用 Softmax 层生成亚型预测。
• 采用交叉熵损失进行端到端训练，并通过 AdamW 优化，配合学习率调度。

实验结果

研究问题

• RQ1 基于 Transformer 的模型是否能在不依赖特征选择的情况下实现对癌症亚型的优越分类性能？
• RQ2 自注意力机制在基因表达数据中对多种不同癌症亚型的生物相关基因识别效果如何？
• RQ3 所提出的 DeepGene Transformer 是否在癌症亚型分类任务中优于已建立的机器学习和深度学习基线模型？
• RQ4 该模型在不同癌症类型和数据集上的泛化能力如何？
• RQ5 注意力权重能否提供关于癌症亚型分子驱动因素的生物学可解释性见解？

主要发现

• DeepGene Transformer 在多个癌症数据集上的分类准确率高于传统机器学习和当前最先进深度学习模型。
• 该模型在多种癌症类型中表现出稳健性能，包括分子异质性较高的癌症类型。
• 自注意力机制在无需事先特征选择的情况下，有效识别出与癌症亚型相关的生物相关基因。
• 对比分析证实，该模型在 AUC 和 F1 分数指标上优于 SVM、随机森林及基于 ResNet 的模型架构。
• 注意力权重提供了可解释的模式，突出显示与特定亚型相关的关键基因和通路。
• 端到端训练框架消除了特征选择等预处理步骤，简化了分类流程。