[論文レビュー] A New Channel Boosted Convolutional Neural Network using Transfer Learning

Asifullah Khan, Anabia Sohail+1 more|arXiv (Cornell University)|Apr 23, 2018

Telecommunications and Broadcasting Technologies被引用数 15

ひとこと要約

本稿では、事前学習モデルから追加の情報的特徴量チャンネルを生成するために転移学習を統合することで、ディープラーニングの性能を向上させるチャネルブーストド畳み込みニューラルネットワーク（CB-CNN）を提案する。元の特徴量と転移由来の特徴量を統合してチャンネルブーストド入力表現を構築することで、高次元かつ不均衡な通信キャリアの離脱予測データにおける判別的学習を向上させ、標準的なCNNよりも優れた分類精度を達成した。

ABSTRACT

We present a novel architectural enhancement of Channel Boosting in a deep convolutional neural network (CNN). This idea of Channel Boosting exploits both the channel dimension of CNN (learning from multiple input channels) and Transfer learning (TL). TL is utilized at two different stages; channel generation and channel exploitation. In the proposed methodology, a deep CNN is boosted by various channels available through TL from already trained Deep Neural Networks, in addition to its original channel. The deep architecture of CNN then exploits the original and boosted channels down the stream for learning discriminative patterns. Churn prediction in telecom is a challenging task due to the high dimensionality and imbalanced nature of the data. Therefore, churn prediction data is used to evaluate the performance of the proposed Channel Boosted CNN (CB CNN). In the first phase, informative discriminative features are being extracted using a stacked autoencoder, and then in the second phase, these features are combined with the original features to form Channel Boosted images. Finally, the knowledge gained by a pretrained CNN is exploited by employing TL. The results are promising and show the ability of the Channel Boosting concept in learning complex classification problems by discerning even minute differences in churners and nonchurners. The proposed work validates the concept observed from the evolution of recent CNN architectures that the innovative restructuring of a CNN architecture may increase the networks representative capacity.

研究の動機と目的

• ディープラーニングにおける高次元かつ不均衡な通信キャリアの離脱データの課題に対処すること。
• 転移学習を用いて追加の情報的特徴チャンネルを導入することで、CNNの表現能力を向上させること。
• チャネルブースティングによるアーキテクチャの革新が、複雑な実世界データセットにおける分類性能を向上させることを検証すること。
• スタックドオートエンコーダと転移学習を組み合わせた特徴工学の有効性を示すこと。

提案手法

• 本手法は、スタックドオートエンコーダを用いて、生の通信キャリア離脱データから判別的な低次元特徴量を抽出する。
• 元の特徴量とオートエンコーダで抽出された特徴量を統合し、「チャネルブーストド」画像を構築する。ここで各チャンネルは別個の特徴量ストリームを表す。
• 転移学習を適用する際、VGG や ResNet などの事前学習モデルの特徴量を初期値としてCNNを初期化し、追加の情報的チャンネルを生成する。
• ブーストドチャンネルを、元の特徴量と転移由来の特徴量チャンネルの両方を介して階層的表現を学習する深層CNNアーキテクチャに供給する。
• 交差エントロピー損失を用いて、エンドツーエンドで訓練し、離脱者と非離脱者を分類する。

実験結果

リサーチクエスチョン

• RQ1 転移学習を効果的に活用して、分類性能の向上を図るためのCNNにおける追加の情報的チャンネルを生成できるか？
• RQ2 オートエンコーダで抽出した特徴量と転移由来の特徴量を統合することで、不均衡かつ高次元なデータにおけるモデル性能が向上するか？
• RQ3 チャネルブースティングは、複雑な分類タスクにおけるCNNの表現能力をどの程度向上させるか？
• RQ4 提案されたCB-CNNは、標準的なCNNおよび転移学習ベースラインと比較して、離脱予測においてどのように優れているか？

主な発見

• 提案されたチャネルブーストドCNNは、通信キャリア離脱予測データセットにおいて、標準的なCNNよりも高い分類精度を達成した。
• オートエンコーダで抽出した特徴量と転移学習由来のチャンネルを統合することで、離脱者と非離脱者の判別性能が顕著に向上した。
• 本手法は不均衡データにおいても頑健な性能を示し、クラスの不均衡にもかかわらず一般化性能が向上していることを示した。
• アーキテクチャの革新、たとえばチャネルブースティングが、ディープCNNの表現能力を強化できることを結果が裏付けた。