[論文レビュー] Deep Learning in Customer Churn Prediction: Unsupervised Feature Learning on Abstract Company Independent Feature Vectors

Philip Spanoudes, Thomson Nguyen|arXiv (Cornell University)|Mar 10, 2017

Customer churn and segmentation参考文献 18被引用数 38

ひとこと要約

本論文は、ユーザーイベントログから得られる抽象的で企業に依存しない特徴量ベクトルを用いた非教師あり特徴量学習を活用し、カスタマーチャンジ予測のためのディープラーニングパイプラインを提案する。ReLU活性化関数、ドロップアウト、モーメンタムを用いた深層順方向ネットワークを活用することで、手動での特徴量設計を不要としつつ、Framed社の既存のランダムフォレスト手法よりも優れた予測精度を達成した。このアプローチは、多様なサブスクリプションベースのビジネスに一般化可能である。

ABSTRACT

As companies increase their efforts in retaining customers, being able to predict accurately ahead of time, whether a customer will churn in the foreseeable future is an extremely powerful tool for any marketing team. The paper describes in depth the application of Deep Learning in the problem of churn prediction. Using abstract feature vectors, that can generated on any subscription based company's user event logs, the paper proves that through the use of the intrinsic property of Deep Neural Networks (learning secondary features in an unsupervised manner), the complete pipeline can be applied to any subscription based company with extremely good churn predictive performance. Furthermore the research documented in the paper was performed for Framed Data (a company that sells churn prediction as a service for other companies) in conjunction with the Data Science Institute at Lancaster University, UK. This paper is the intellectual property of Framed Data.

研究の動機と目的

• 手動での企業特有の特徴量設計を要せず、あらゆるサブスクリプションベースの企業に適用可能な汎用的な機械学習パイプラインの開発。
• 深層ニューラルネットワークが、生のユーザーイベントログから意味のある抽象的特徴量を非教師ありで学習可能かどうかを検証し、予測性能の向上を図ること。
• Framed Data社の既存のランダムフォレストパイプラインを、手動での特徴量設計への依存を低減しつつ、予測精度を維持または向上させるディープラーニングアーキテクチャに置き換えること。
• 特に、過去の手法が性能を発揮しにくい低退会率の状況下でも、ディープラーニングアプローチの頑健性を評価すること。
• SparkとHDFSを用いたスケーラブルなデータ表現およびディープラーニングパイプラインの実装により、大規模なイベントデータに対する実世界での導入を可能とすること。

提案手法

• 本手法は、ドメイン特化のない特徴量ベクトルをユーザーイベントログから抽出し、分野に依存しない時間的・行動的パターンを捉える。
• ReLU活性化関数を用いた深層順方向ニューラルネットワークを用い、バックプロパゲーションを用いて非教師ありで階層的かつ抽象的な入力データ表現を学習する。
• 一般化性能の向上と過学習の低減を図るため、L1およびL2重み減衰、およびドロップアウト（ドロップアウト率0.5）といった正則化手法を適用する。
• バックプロパゲーションアルゴリズムにはモーメンタム（0.9）を用い、収束の加速と学習ダイナミクスの安定化を図る。
• 大規模かつ高次元のイベントデータを効率的に処理するため、SparkとHDFSを用いた分散コンピューティングスタック上でパイプラインをデプロイする。
• モデルの性能評価は、既存のランダムフォレストモデルと同一の指標および時系列分割を用い、直接的な比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生のイベントログから手動での特徴量設計を一切行わず、深層順方向ニューラルネットワークが有効で抽象的なユーザー行動表現を学習可能かどうか。その結果、退会予測精度が向上するか。
• RQ2 Framed Data社が既に使用しているランダムフォレストモデルと比較して、提案されたディープラーニングアーキテクチャの予測精度および一般化性能はどの程度向上するか。
• RQ3 低退会率の月に適用した場合、クラス不均衡がモデル性能に影響を与える中で、ディープラーニングパイプラインの頑健性は保たれるか。
• RQ4 ドロップアウト、ReLU、モーメンタムといった現代的なディープラーニング技術が、退会予測タスクにおけるモデルの安定性および予測性能をどの程度向上させるか。
• RQ5 提案されたデータ表現およびディープラーニングパイプラインは、最小限の再設定で、さまざまなサブスクリプションベースのビジネスに一般化可能か。

主な発見

• 同じ時系列分割と指標で評価した結果、提案されたディープラーニングアーキテクチャは、既存のランダムフォレストモデルよりも高い予測精度を達成した。
• ReLU活性化、ドロップアウト（0.5）、およびバックプロパゲーションにおけるモーメンタムの使用が、異なる訓練分割におけるモデルの一般化性能の向上と分散の低減に顕著に寄与した。
• 複数の隠れ層を経て抽象的で階層的な特徴量を学習できる深層ネットワークの能力が、退会者と非退会者を区別する能力を高めた。
• 隠れ層の数を増やすに従い、モデルの性能が向上した。これは、より深いアーキテクチャがユーザーデータ内の複雑な行動パターンをより効果的に捉えることができることを示している。
• 全体としての性能は優れていたが、データセットのバランス調整手法の影響により、低退会率の月ではモデルの性能が低下した。これは、クラス不均衡への感受性を示している。
• SparkとHDFSの実装により、スケーラブルなデータ表現の生成が可能となり、実世界の大規模環境へのパイプライン導入の実現可能性が裏付けられた。