[论文解读] Autoencoders as Weight Initialization of Deep Classification Networks for Cancer versus Cancer Studies

Mafalda Falcão Ferreira, Rui Camacho+1 more|arXiv (Cornell University)|Jan 15, 2020

AI in cancer detection参考文献 9被引用 5

一句话总结

本研究评估了去噪自编码器（DAE）作为深度神经网络在甲状腺癌、皮肤癌和胃癌基因表达数据分类任务中的预训练方法。通过将完整的预训练DAE导入分类网络并微调所有权重，该模型在检测甲状腺癌时取得了98.04% ± 1.09的F1分数，优于固定权重初始化方法，证明了在此生物医学分类任务中端到端微调的有效性。

ABSTRACT

Cancer is still one of the most devastating diseases of our time. One way of automatically classifying tumor samples is by analyzing its derived molecular information (i.e., its genes expression signatures). In this work, we aim to distinguish three different types of cancer: thyroid, skin, and stomach. For that, we compare the performance of a Denoising Autoencoder (DAE) used as weight initialization of a deep neural network. Although we address a different domain problem in this work, we have adopted the same methodology of Ferreira et al.. In our experiments, we assess two different approaches when training the classification model: (a) fixing the weights, after pre-training the DAE, and (b) allowing fine-tuning of the entire classification network. Additionally, we apply two different strategies for embedding the DAE into the classification network: (1) by only importing the encoding layers, and (2) by inserting the complete autoencoder. Our best result was the combination of unsupervised feature learning through a DAE, followed by its full import into the classification network, and subsequent fine-tuning through supervised training, achieving an F1 score of 98.04% +/- 1.09 when identifying cancerous thyroid samples.

研究动机与目标

• 评估去噪自编码器（DAE）作为深度学习在癌症分类中权重初始化策略的有效性。
• 比较两种训练方法：在初始化后固定预训练DAE权重与微调整个网络。
• 评估两种嵌入策略：仅使用编码层或在分类网络中使用完整的自编码器（编码和解码）层。
• 确定使用DAE进行无监督预训练是否能提升甲状腺癌、皮肤癌和胃癌基因表达数据的分类性能。
• 探究DAE预训练带来的性能提升是否在不同癌症类型和训练策略下保持一致。

提出的方法

• 在癌症基因组图谱（TCGA）的基因表达数据上预训练去噪自编码器（DAE），通过均方误差（MSE）损失最小化重构误差。
• 使用预训练DAE的权重初始化用于分类的深层前馈神经网络的顶层。
• 评估两种策略：(1) 仅导入DAE的编码层，(2) 导入完整的DAE（编码和解码层）。
• 采用两种方法训练分类网络：(a) 在初始化后固定DAE权重，(b) 在监督训练期间微调所有权重。
• 应用5折分层交叉验证评估性能，使用损失、准确率、精确率、召回率和F1分数作为指标。
• 基于F1分数选择每折表现最佳的模型，并报告平均结果与标准差。

实验结果

研究问题

• RQ1 使用去噪自编码器（DAE）作为预训练方法是否能提升癌症亚型基因表达数据的分类性能？
• RQ2 在DAE预训练后微调整个网络是否比固定预训练权重更有效？
• RQ3 与仅导入编码层相比，导入完整DAE（编码和解码）是否能获得更好的结果？
• RQ4 DAE基初始化在不同癌症类型（甲状腺癌、皮肤癌、胃癌）中的表现如何？
• RQ5 使用DAE进行无监督预训练在多大程度上捕获了对癌症分类具有生物学相关性的特征？

主要发现

• 在DAE预训练后微调整个网络，相比固定预训练权重，F1分数提高了10–20%，与先前研究结果相反。
• 通过导入完整的预训练DAE并微调所有权重，实现了最佳性能，甲状腺癌检测的F1分数达到98.04% ± 1.09。
• 对于皮肤癌，使用完整DAE并微调的最优F1分数为97.81% ± 1.76；对于胃癌，该分数达到95.63% ± 3.23。
• 仅使用DAE编码层的模型在所有癌症类型中表现均较低，其最优F1分数为甲状腺癌的97.79% ± 1.13。
• 结果表明，完整DAE集成与微调对实现最佳性能至关重要，提示解码层有助于生成更优的特征表示。
• 尽管性能表现强劲，但本研究未发现确凿证据表明DAE预训练在所有癌症类型中一致捕获了最相关的生物学特征，这由验证曲线行为的不一致性所体现。