[论文解读] All-Transfer Learning for Deep Neural Networks and its Application to Sepsis Classification

Yoshihide Sawada, Yoshikuni Sato+3 more|arXiv (Cornell University)|Nov 13, 2017

Domain Adaptation and Few-Shot Learning参考文献 17被引用 8

一句话总结

本文提出了一种新型的迁移学习方法——全参数迁移深度学习（ATDL），用于深度神经网络，通过利用源域数据中学习到的标签关系，实现包括输出层在内的所有参数迁移。在脓毒症检测的二维凝胶电泳（2-DE）图像分类任务中，ATDL实现了超过90%的准确率，优于传统方法，尤其在目标数据集极小的情况下表现更优，同时通过马氏距离相关性实现了有效的源模型选择。

ABSTRACT

In this article, we propose a transfer learning method for deep neural networks (DNNs). Deep learning has been widely used in many applications. However, applying deep learning is problematic when a large amount of training data are not available. One of the conventional methods for solving this problem is transfer learning for DNNs. In the field of image recognition, state-of-the-art transfer learning methods for DNNs re-use parameters trained on source domain data except for the output layer. However, this method may result in poor classification performance when the amount of target domain data is significantly small. To address this problem, we propose a method called All-Transfer Deep Learning, which enables the transfer of all parameters of a DNN. With this method, we can compute the relationship between the source and target labels by the source domain knowledge. We applied our method to actual two-dimensional electrophoresis image~(2-DE image) classification for determining if an individual suffers from sepsis; the first attempt to apply a classification approach to 2-DE images for proteomics, which has attracted considerable attention as an extension beyond genomics. The results suggest that our proposed method outperforms conventional transfer learning methods for DNNs.

研究动机与目标

• 解决在目标域数据极度有限（尤其是低于100个样本）时深度神经网络分类性能差的问题。
• 克服传统迁移学习的局限性，后者通常仅重用前几层，且在小目标数据上易导致输出层过拟合。
• 开发一种即使在源域与目标域标签不同时也能实现知识迁移的方法，避免负迁移。
• 实现在临床环境中实用化部署，其中数据隐私和计算资源有限限制了数据共享和模型训练。
• 证明将深度学习应用于基于2-DE图像的蛋白质组学进行脓毒症分类的可行性与有效性，这是生物医学人工智能领域的一项新应用。

提出的方法

• 提出全参数迁移深度学习（ATDL），一种监督式迁移学习框架，重用源数据上预训练的深度神经网络的所有层，包括输出层。
• 引入标签关系向量 $\mathbf{r}_l$，利用源域知识编码源域与目标域标签之间的映射关系，从而在所有层上实现正则化。
• 采用两阶段训练流程：首先使用源域特定的损失函数在源数据上预训练深度神经网络，然后使用目标域特定的损失函数在目标数据上微调，同时将 $\mathbf{r}_l$ 作为正则化项。
• 通过计算目标标签关系向量 $\mathbf{r}_l$ 与源子群表示之间的马氏距离 $d_m$，在微调前选择最相关的源模型。
• 从MNIST数据中构建源域子群 $\mathfrak{D}^s_a$，并评估其 $d_m(a)$ 与在脓毒症数据上下游分类性能的相关性。
• 将该方法应用于真实的蛋白质组学2-DE图像，使用具有 $L=1$ 和 $D_1=188$ 个特征的深度神经网络，基于 $N^t=49$ 个脓毒症与非脓毒症样本进行训练。

实验结果

研究问题

• RQ1 是否有一种迁移学习方法，能够实现包括输出层在内的全部深度神经网络参数迁移，从而提升在极小目标数据集上的分类性能？
• RQ2 当源域与目标域标签不同时，如何建模标签之间的关系，以实现有效的知识迁移？
• RQ3 标签关系向量与源表示之间的马氏距离是否能预测下游分类性能，并指导有效的源模型选择？
• RQ4 ATDL在真实世界生物医学应用（如基于2-DE蛋白质组图像的脓毒症检测）中是否有效？
• RQ5 与仅部分重用参数的传统迁移学习相比，ATDL是否能降低负迁移和过拟合的风险？

主要发现

• ATDL在基于2-DE图像的脓毒症分类中实现了超过90%的准确率，这是该类蛋白质组图像分类中首次成功应用深度学习。
• 该方法在极小的目标数据集（$N^t = 49$）下显著优于传统迁移学习和非迁移学习基线方法。
• 马氏距离 $d_m$ 与分类性能之间存在显著的正相关性（$R = 0.665$，p值 $< 0.01$），表明 $d_m$ 可有效指导源模型选择。
• 该相关性在多个指标（PPV、NPV、MCC、F1、ACC）上均保持一致，表明选择标准具有鲁棒性。
• ATDL通过使用标签关系向量 $\mathbf{r}_l$ 对所有层进行正则化，降低了小样本目标数据训练中的过拟合风险，提升了训练稳定性。
• 该方法在不同深度神经网络架构和目标任务上均表现出良好的泛化能力，表明其在低数据生物医学场景中具有广泛适用性。