[论文解读] A New Channel Boosted Convolutional Neural Network using Transfer Learning

Asifullah Khan, Anabia Sohail+1 more|arXiv (Cornell University)|Apr 23, 2018

Telecommunications and Broadcasting Technologies被引用 15

一句话总结

本文提出了一种通道增强卷积神经网络（CB-CNN），通过整合迁移学习从预训练模型生成额外的有信息量的通道，从而提升深度学习性能。通过将原始特征与迁移学习提取的特征结合，形成通道增强的输入表示，该方法在高维、类别不平衡的电信客户流失预测数据上提升了判别性学习能力，相较于标准CNN实现了更优的分类准确率。

ABSTRACT

We present a novel architectural enhancement of Channel Boosting in a deep convolutional neural network (CNN). This idea of Channel Boosting exploits both the channel dimension of CNN (learning from multiple input channels) and Transfer learning (TL). TL is utilized at two different stages; channel generation and channel exploitation. In the proposed methodology, a deep CNN is boosted by various channels available through TL from already trained Deep Neural Networks, in addition to its original channel. The deep architecture of CNN then exploits the original and boosted channels down the stream for learning discriminative patterns. Churn prediction in telecom is a challenging task due to the high dimensionality and imbalanced nature of the data. Therefore, churn prediction data is used to evaluate the performance of the proposed Channel Boosted CNN (CB CNN). In the first phase, informative discriminative features are being extracted using a stacked autoencoder, and then in the second phase, these features are combined with the original features to form Channel Boosted images. Finally, the knowledge gained by a pretrained CNN is exploited by employing TL. The results are promising and show the ability of the Channel Boosting concept in learning complex classification problems by discerning even minute differences in churners and nonchurners. The proposed work validates the concept observed from the evolution of recent CNN architectures that the innovative restructuring of a CNN architecture may increase the networks representative capacity.

研究动机与目标

• 解决深度学习中高维、类别不平衡的电信客户流失数据挑战。
• 通过迁移学习引入额外有信息量的通道，增强CNN的表征能力。
• 验证通过通道增强实现的网络架构创新是否能提升复杂真实数据集上的分类性能。
• 证明将堆叠自编码器与迁移学习结合用于深度学习中的特征工程具有有效性。

提出的方法

• 该方法使用堆叠自编码器从原始电信客户流失数据中提取具有判别性的低维特征。
• 将原始特征与自编码器提取的特征结合，形成‘通道增强’的图像，其中每个通道代表一个独立的特征流。
• 通过使用预训练模型（如VGG或ResNet）的特征对CNN进行权重初始化，应用迁移学习以生成额外的有信息量的通道。
• 将增强后的通道输入深层CNN架构，该网络在原始与迁移特征通道上学习分层表示。
• 网络通过交叉熵损失端到端训练，以区分流失用户与非流失用户。

实验结果

研究问题

• RQ1 能否有效利用迁移学习在CNN中生成额外的有信息量通道以提升分类性能？
• RQ2 将自编码器提取的特征与迁移学习生成的特征通道结合，是否能显著提升在类别不平衡、高维数据上的模型性能？
• RQ3 通道增强在复杂分类任务中，能在多大程度上提升CNN的表征能力？
• RQ4 所提出的CB-CNN相较于标准CNN和迁移学习基线模型，在客户流失预测中的表现如何？

主要发现

• 所提出的通道增强CNN在电信客户流失预测数据集上的分类准确率高于标准CNN。
• 将自编码器提取的特征与迁移学习生成的通道结合，显著提升了模型对流失用户与非流失用户的判别能力。
• 该方法在类别不平衡数据上表现出稳健性能，表明即使存在类别不平衡，其泛化能力也得到改善。
• 结果验证了诸如通道增强等架构创新能够增强深度CNN的表征能力。