[論文レビュー] A New Channel Boosted Convolution Neural Network using Transfer Learning.

Asifullah Khan, Anabia Sohail+1 more|arXiv (Cornell University)|Apr 23, 2018

Customer churn and segmentation参考文献 34被引用数 17

ひとこと要約

本稿では、事前学習モデルから追加の情報的特徴マップを生成するためにトレーニング・トランスファーを統合することで、深層畳み込みニューラルネットワーク（CNN）の表現能力を向上させるチャネルブーストド畳み込みニューラルネットワーク（CB CNN）を提案する。この手法は、高次元で不均衡なデータに対してスタックドオートエンコーダーで抽出した特徴と事前学習済み特徴を統合することで、構造的革新を通じて分類性能を向上させ、通信キャリアの離脱予測に応用されている。

ABSTRACT

We present a novel architectural enhancement of Channel Boosting in a deep convolutional neural network (CNN). This idea of Channel Boosting exploits both the channel dimension of CNN (learning from multiple input channels) and Transfer learning (TL). TL is utilized at two different stages; channel generation and channel exploitation. In the proposed methodology, a deep CNN is boosted by various channels available through TL from already trained Deep Neural Networks, in addition to its original channel. The deep architecture of CNN then exploits the original and boosted channels down the stream for learning discriminative patterns. Churn prediction in telecom is a challenging task due to the high dimensionality and imbalanced nature of the data. Therefore, churn prediction data is used to evaluate the performance of the proposed Channel Boosted CNN (CB CNN). In the first phase, informative discriminative features are being extracted using a stacked autoencoder, and then in the second phase, these features are combined with the original features to form Channel Boosted images. Finally, the knowledge gained by a pretrained CNN is exploited by employing TL. The results are promising and show the ability of the Channel Boosting concept in learning complex classification problems by discerning even minute differences in churners and nonchurners. The proposed work validates the concept observed from the evolution of recent CNN architectures that the innovative restructuring of a CNN architecture may increase the networks representative capacity.

研究の動機と目的

• 機械学習における高次元かつ不均衡な通信キャリア離脱データの課題に対処する。
• 構造的革新を通じて深層CNNの代表的表現能力を向上させる。
• トレーニング・トランスファーを活用し、元の入力特徴を超える追加の情報的特徴マップを生成する。
• 統合された深層学習フレームワーク内で元の特徴マップとブースト済み特徴マップを統合することで分類性能を向上させる。
• ブーストドチャネルの有効性が、離脱者と非離脱者間の微細な差異を識別する能力に与える影響を検証する。

提案手法

• 第1段階として、スタックドオートエンコーダーを用いて通信キャリア離脱データから判別性の高い特徴を抽出する。
• 元の特徴とオートエンコーダーで抽出した特徴を組み合わせることで「チャネルブーストド画像」を構築する。
• トレーニング・トランスファーを活用して、事前学習済みの深層ニューラルネットワークから追加のチャネルを生成する。
• 元の特徴マップとブースト済み特徴マップを統合し、深層CNNアーキテクチャに組み込んで共同特徴学習を実施する。
• 統合された特徴マップを活用して分類性能を向上させるために、深層CNNをファインチューニングする。
• チャネル生成とチャネル利用の2段階でトレーニング・トランスファーを適用し、特徴表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 分類性能の向上を目的として、CNNにおける追加の情報的特徴マップを生成するためにトレーニング・トランスファーを効果的に利用できるか？
• RQ2 チャネルブースティングは、高次元で不均衡な通信キャリア離脱予測データにおける深層CNNの性能にどのように影響を与えるか？
• RQ3 スタックドオートエンコーダーと事前学習モデルを統合することで、統合された深層学習フレームワーク内での特徴表現がどの程度向上するか？
• RQ4 元の特徴マップとブースト済み特徴マップの統合は、離脱者と非離脱者をよりよく分類する能力を向上させるか？
• RQ5 チャネルブースティングのような構造的革新は、複雑な分類タスクにおけるCNNの代表的表現能力を向上させることができるか？

主な発見

• 提案されたチャネルブーストドCNNは、通信キャリア離脱予測データにおける分類性能を顕著に向上させた。
• スタックドオートエンコーダーからの特徴とトレーニング・トランスファーの統合により、ネットワークが離脱者と非離脱者間の微細な差異を検出する能力が向上した。
• チャネル生成段階とチャネル利用段階の両方でトレーニング・トランスファーを適用することで、より強固で判別性の高い特徴学習が実現した。
• 本手法は高次元で不均衡なデータセットにおいて優れた性能を示し、実世界のシナリオにおける有効性を裏付けた。
• 結果から、チャネルブースティングによる構造的再設計が、深層CNNの代表的表現能力を向上させることを確認した。