[论文解读] A New Channel Boosted Convolution Neural Network using Transfer Learning.

Asifullah Khan, Anabia Sohail+1 more|arXiv (Cornell University)|Apr 23, 2018

Customer churn and segmentation参考文献 34被引用 17

一句话总结

本文提出了一种通道增强卷积神经网络（CB CNN），通过整合迁移学习从预训练模型生成额外的有信息量的通道，从而增强深度卷积神经网络，提升判别性特征学习能力。该方法应用于电信客户流失预测，在高维、不平衡数据上通过融合堆叠自编码器提取的特征与预训练特征，展现出通过架构创新实现的优越分类能力。

ABSTRACT

We present a novel architectural enhancement of Channel Boosting in a deep convolutional neural network (CNN). This idea of Channel Boosting exploits both the channel dimension of CNN (learning from multiple input channels) and Transfer learning (TL). TL is utilized at two different stages; channel generation and channel exploitation. In the proposed methodology, a deep CNN is boosted by various channels available through TL from already trained Deep Neural Networks, in addition to its original channel. The deep architecture of CNN then exploits the original and boosted channels down the stream for learning discriminative patterns. Churn prediction in telecom is a challenging task due to the high dimensionality and imbalanced nature of the data. Therefore, churn prediction data is used to evaluate the performance of the proposed Channel Boosted CNN (CB CNN). In the first phase, informative discriminative features are being extracted using a stacked autoencoder, and then in the second phase, these features are combined with the original features to form Channel Boosted images. Finally, the knowledge gained by a pretrained CNN is exploited by employing TL. The results are promising and show the ability of the Channel Boosting concept in learning complex classification problems by discerning even minute differences in churners and nonchurners. The proposed work validates the concept observed from the evolution of recent CNN architectures that the innovative restructuring of a CNN architecture may increase the networks representative capacity.

研究动机与目标

• 解决机器学习中高维且不平衡的电信客户流失数据带来的挑战。
• 通过架构创新增强深度卷积神经网络的表征能力。
• 利用迁移学习生成超越原始输入特征的额外有信息量的通道。
• 通过在统一的深度学习框架中融合原始通道与增强通道，提升分类性能。
• 验证通道增强在区分流失用户与非流失用户细微差异方面的有效性。

提出的方法

• 第一阶段使用堆叠自编码器从电信客户流失数据中提取判别性特征。
• 通过将原始特征与自编码器提取的特征结合，构建‘通道增强图像’。
• 利用迁移学习从预训练的深度神经网络中生成额外通道。
• 将原始通道与增强通道整合进深度卷积神经网络架构，实现联合特征学习。
• 微调深度卷积神经网络，以利用组合通道提升分类性能。
• 在两个阶段应用迁移学习：通道生成与通道利用，从而增强特征表征能力。

实验结果

研究问题

• RQ1 迁移学习能否有效用于在卷积神经网络中生成额外的有信息量的通道以提升分类性能？
• RQ2 通道增强对高维、不平衡的电信客户流失预测数据上的深度卷积神经网络性能有何影响？
• RQ3 堆叠自编码器与预训练模型在统一深度学习框架中联合增强特征表征的能力有多大？
• RQ4 原始通道与增强通道的融合是否能提升对流失用户与非流失用户的区分能力？
• RQ5 如通道增强等架构创新是否能提升卷积神经网络在复杂分类任务中的表征能力？

主要发现

• 所提出的通道增强卷积神经网络在电信客户流失预测数据上显著提升了分类性能。
• 融合堆叠自编码器特征与迁移学习特征，增强了网络检测流失用户与非流失用户之间细微差异的能力。
• 在通道生成与通道利用两个阶段均应用迁移学习，有助于实现更鲁棒、更具判别性的特征学习。
• 该方法在高维、不平衡数据集上表现出色，验证了其在真实场景中的有效性。
• 结果证实，通过通道增强实现的架构重构能够提升深度卷积神经网络的表征能力。