[논문 리뷰] A New Channel Boosted Convolution Neural Network using Transfer Learning.

Asifullah Khan, Anabia Sohail외 1명|arXiv (Cornell University)|2018. 04. 23.

Customer churn and segmentation참고 문헌 34인용 수 17

한 줄 요약

이 논문은 사전 훈련된 모델에서 추가로 정보성 있는 채널을 생성하기 위해 전이 학습을 통합함으로써 딥 컨볼루션 네트워크의 성능을 향상시키는 채널 보강 컨볼루션 신경망(CB CNN)을 제안한다. 이는 분류 능력을 향상시키기 위해 구조적 혁신을 통해 표현 능력을 강화한다. 통신 이탈 예측에 적용된 결과, 고차원적이고 불균형한 데이터에서 스택드 오토에인드어로 추출한 특징과 사전 훈련된 특징을 융합함으로써 성능 향상을 이룩하였으며, 구조적 혁신을 통해 뛰어난 분류 성능을 입증하였다.

ABSTRACT

We present a novel architectural enhancement of Channel Boosting in a deep convolutional neural network (CNN). This idea of Channel Boosting exploits both the channel dimension of CNN (learning from multiple input channels) and Transfer learning (TL). TL is utilized at two different stages; channel generation and channel exploitation. In the proposed methodology, a deep CNN is boosted by various channels available through TL from already trained Deep Neural Networks, in addition to its original channel. The deep architecture of CNN then exploits the original and boosted channels down the stream for learning discriminative patterns. Churn prediction in telecom is a challenging task due to the high dimensionality and imbalanced nature of the data. Therefore, churn prediction data is used to evaluate the performance of the proposed Channel Boosted CNN (CB CNN). In the first phase, informative discriminative features are being extracted using a stacked autoencoder, and then in the second phase, these features are combined with the original features to form Channel Boosted images. Finally, the knowledge gained by a pretrained CNN is exploited by employing TL. The results are promising and show the ability of the Channel Boosting concept in learning complex classification problems by discerning even minute differences in churners and nonchurners. The proposed work validates the concept observed from the evolution of recent CNN architectures that the innovative restructuring of a CNN architecture may increase the networks representative capacity.

연구 동기 및 목표

• 기계 학습에서 고차원적이고 불균형한 통신 이탈 데이터의 과제를 해결한다.
• 구조적 혁신을 통해 딥 컨볼루션 네트워크의 표현 능력을 향상시킨다.
• 전이 학습을 활용하여 원본 입력 특징을 초월한 추가적인 정보성 있는 채널을 생성한다.
• 통합된 딥 러닝 프레임워크 내에서 원본 채널과 보강된 채널을 융합하여 분류 성능을 향상시킨다.
• 이탈자와 비이탈자 간 미세한 차이를 식별하는 데서 채널 보강의 효과를 검증한다.

제안 방법

• 첫 번째 단계에서 스택드 오토에인드어를 사용하여 통신 이탈 데이터로부터 분류 특징을 추출한다.
• 원본 특징과 오토에인드어로 추출한 특징을 융합하여 '채널 보강 이미지'를 구성한다.
• 사전 훈련된 딥 네트워크에서 전이 학습을 활용하여 추가 채널을 생성한다.
• 원본 채널과 보강된 채널을 모두 딥 컨볼루션 네트워크 아키텍처에 통합하여 공동 특징 학습을 수행한다.
• 통합된 채널을 활용하여 개선된 분류 성능를 얻기 위해 딥 컨볼루션 네트워크를 미세 조정한다.
• 채널 생성 및 채널 활용의 두 단계에서 전이 학습을 적용하여 특징 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 전이 학습을 효과적으로 활용하여 분류 성능 향상을 위한 CNN 내 추가 정보성 채널을 생성할 수 있는가?
• RQ2 채널 보강은 고차원적이고 불균형한 통신 이탈 예측 데이터에서 딥 컨볼루션 네트워크의 성능에 어떤 영향을 미치는가?
• RQ3 스택드 오토에인드어와 사전 훈련된 모델이 통합된 딥 러닝 프레임워크 내에서 특징 표현을 얼마나 함께 향상시킬 수 있는가?
• RQ4 원본 채널과 보강된 채널의 융합은 이탈자와 비이탈자 간의 구분 능력을 향상시키는가?
• RQ5 채널 보강과 같은 구조적 혁신은 복잡한 분류 과제에서 CNN의 표현 능력을 증가시킬 수 있는가?

주요 결과

• 제안된 채널 보강 컨볼루션 신경망은 통신 이탈 예측 데이터에서 분류 성능을 크게 향상시킨다.
• 스택드 오토에인드어에서 추출한 특징과 전이 학습을 융합함으로써 네트워크가 이탈자와 비이탈자 간의 미세한 차이를 감지하는 능력이 향상된다.
• 채널 생성 및 활용 단계에서 전이 학습을 적용함으로써 더 강력하고 구분 능력 있는 특징 학습이 가능해진다.
• 이 방법은 고차원적이고 불균형한 데이터셋에서 뛰어난 성능을 보이며, 실제 환경에서의 효과성을 입증한다.
• 결과적으로 채널 보강을 통한 아키텍처 재구성은 딥 컨볼루션 네트워크의 표현 능력을 증가시킨다는 것이 확인된다.